Un semplice tutorial su come estrarre passo dopo passo i Dati di Mercato sul Portale di Artesian
Artesian ti permette di avere un accesso semplice ai tuoi dati con uno storage pressoché illimitato.
Vediamo passo passo come procedere.
Obiettivo
Estrarre i dati dal Portale di Artesian.
I dati e i link di riferimento sono fittizi, creati appositamente per questo case. In Artesian è possibile estrarre qualsiasi dato che sia riconducibile a una Time Serie o ad un GME Public Offer.
Vediamo passo per passo come procedere.
Ricerca delle Time Series
Nella schermata principale, in alto affianco all’user, possiamo decidere se estrarre una TimeSeries oppure le GME Public Offer.
In base alla scelta fatta, la nostra schermata cambierà:
Per le Time Series, avremo a disposizione un menu esteso (R1) che ci aiuta a selezionare i market data di nostro interesse tramite selezione di categorie o ricerca testuale libera.
Filtrando i dati usando la tabella delle categorie avremo a disposizione un set di default come: il Tipo di market data (che potrà essere Actual, Versioned, Market Assessment, Bid Ask o Auction), i Provider elencati per nome, il tipo di Granularità in cui sono scritti i market data e la loro TimeZone; oppure usando categorie custom create dall’utente per classificare i dati e ritrovarli in maniera più agevole.
Alcuni esempi visibili nelle schermate sotto sono: l’Operator Country Label che è stato assegnato ai dati del porvider ENTSO-G per facilitare il filtro del paese, così come l’Operator Label che lo denomina, l’Operator Type Label, l’Interruption Type (Planned, Actual o Unplanned), etc..
Usando invece la ricerca testuale libera (R2) è possibile costruire una vera e propria query di ricerca usando i comandi visibili andando col mouse sulla i del box di ricerca
Selezione di un Market Data da estrarre.
Supponendo di voler estrarre un market data di tipo “Actual”, del nostro provider “PythonSDK”, possiamo notare come il nostro menu di scelte sulla schermata iniziale (M1) si riduca drasticamente; questo accade perché una volta selezionato il tipo di Market Data e il Provider di interesse, viene applicato un filtro ai dati in modo da escludere tutti i record non relativi alla selezione fatta e semplificare gli eventuali filtraggi successivi.
Essendo, questo specifico market data, stato scritto in una Granularity “Day”, con un TimeZone “CET”, possiamo vedere questi dettagli sul menu, sotto il provider.
Il numero visibile affianco di ogni sotto-categoria, indica il numero di curve disponibili nel caso si decida di selezionare quel specifico filtro.
Selezionando il nostro market data, possiamo notare come sulla sinistra del menù (M2), venga indicato nuovamente il numero di TimeSeries (TS: 1) e Market Data (#MarketData: 1) selezionati finora.
Estrazione dei Market Data.
Una volta decisi i market data da estrarre possiamo andare nella schermata “Extract”. In questa schermata, oltre a un breve riepilogo, sulla sinistra, riguardo agli ID dei market data selezionati, del nome del provider, il tipo di market data e l’Aggregation rule, possiamo definire dei parametri per l’estrazione.
– “Date Options” permette di stabilire il Time Range di estrazione.
Artesian supporta 4 opzioni:
- “AbsoluteDateRange” : un arco di tempo determinato assoluto (es.: dal “2022-06-22” al “2022-06-23” ti permetterà di estrarre i dati del “2022-06-22”).
- “RelativePeriod” : rappresenta un arco di tempo relativo, precedente o successivo ad oggi (es.: Considerando che oggi sia il “2022-06-22” richiedere il period “P-5D” significherà estrarre i dati dal “2022-06-17” al “2022-06-21”. Richiedendo il period “P5D” significherà estrarre i dati dal “2022-06-22” al “2022-06-26”). Per la sintassi è possibile fare riferimento allo standard ISO8601.
- “RelativePeriodRange” : (es: da “P-5D” a “P5D” estrarrà i dati dal “2022-06-17” al “2022-06-26”).
- “RelativeInterval” è un arco di tempo “rolling” a dimensione fissa. Le possibili opzioni sono: “RollingWeek”, “RollingMonth”, “RollingQuarter” o “RollingYear” ovvero gli ultimi 7, 30, 90, 365 giorni di dati (con il giorno in corso incluso); “WeekToDate”, “MonthToDate”, “QuarterToDate” o “YearToDate” ovvero considerando dal giorno in corso a inizio settimana, mese o anno.
– “Granularity” permette di stabilire la Granularità di estrazione, questa può essere coincidente a quella del dato originale o differente, a patto che sia stata configurata una “Aggregation Rule” sulla curva di interesse.
– Aggregation Rule permette di estrarre i dati anche a granularità differenti da quella originale. L’operazione di aggregazione/disaggregazione applicata ai dati è definita tramite la valorizzazione di questa proprietà. Le possibili opzioni sono “Undefined”, “SumAndDivide” oppure “AverageAndReplicate”. Nel caso di “Undefined” non sarà ovviamente possibile estrarre i dati a granularità differente dall’originale.
– “Timezone” permette di stabilire la time zone di estrazione del Market Data, se differente dall’originale sarà onere del sistema effettuare la dovuta conversione per riportare il dato nella forma corretta.
– “Time Transform” permette di applicare shift temporali ai dati per ricondurli a dimensionalità differenti dallo standard es: Giorno Gas o Anno Termico
Deciso quest’ultimo passaggio, possiamo scaricare i dati su un file Excel o sfruttare il link dell’API costruito dalla UI.
Estrazione GME Public Offer.
Nel caso si voglia estrarre dei dati GME Public Offer, occorrerà selezionare tale opzione dalla pagina principale di Artesian.
Possiamo notare immediatamente che sulla schermata non è più presente un menù di scelte per le possibili estrazioni essendo ora i dati di un solo tipo.
Procediamo a vedere quali sono le modalità e i limiti presenti per questo tipo di estrazione. Tra i vari filtri disponibili ce ne sono alcuni obbligatori, come la data (si può estrarre solo i dati di un determinato giorno, per volta), il Purpose delle Offerte Pubbliche (se Bid od Offer) e lo Status delle Offerte Pubbliche (“ACC”, “REJ”, “INC”, “REP”, “REV”, “SUB”).
Una volta definiti questi parametri obbligatori, possiamo inserire dei filtri opzionali per l’estrazione:
Possiamo decidere di estrare un specifico Market (“MGP”, “MI2”, “MSD”, “MB”, …), uno specifico Scope (“NULL”, “ACC”, “AS”, “CA”, “GR1”, …), un BAType (“NULL”, “NETT”, “NREV”, “REV”), una specifica Zone (“AUST”, “BRNN”, “CALA”, “GREC”, …), una specifica Unit Type (“UP”, “UPV”, “UC”, “UCV”) ed una specifica Generation Type (“AUTOGENERATION”, “BIOMASS”, “COAL”, “WIND”, “GAS”, …), quest’ultima opzione è fruibile solo se il cliente ha condiviso con noi il mapping tra Unit e Generation Type.
Una volta decisi i parametri dell’estrazione, possiamo avere una “Preview” dei dati oppure possiamo scaricarli direttamente in formato Excel.
Basta eseguire l’operazione una sola volta per poi averla completamente riproducibile e automatizzata nel nostro workflow.
Questo non solo permette di risparmiare tempo, ma permette anche di ridurre al minimo gli errori umani dati dall’eseguire operazioni ripetute su grandi moli di dati o su diversi file Excel.
Un vantaggio innegabile che ci consente di focalizzarci sull’analisi del dato invece che sulla sua gestione e ottimizzazione.
