Un tutorial su come scrivere step by step le serie temporali Market Assessment in Artesian con l'SDK Python.
Artesian ti permette non solo di avere un accesso semplice allo storico dei dati ma anche di poterne scrivere di nuovi al suo interno.
Vediamo passo passo come procedere.
Obiettivo
Scrivere i nostri dati in un Market Assessment Time Serie Market Data.
I dati e i link di riferimento sono fittizi, creati appositamente per questo case. In Artesian è possibile scrivere qualsiasi dato che sia riconducibile a una Time Serie, quindi è idoneo per salvare i tuoi dati di produzione.
Vediamo passo per passo come procedere.
Importazione delle librerie e configurazione di Artesian
Per poter scrivere la nostra Time Serie in Python, occorre innanzi tutto installare l’sdk di Artesian nell’ambiente python utilizzato, tramite il comando “pip install artesian-sdk”, successivamente si possono importare le dipendenze necessarie con il comando “from Artesian import ArtesianConfig, Granularity, MerketData”.
Per poter scrivere le Time Series ed utilizzare la TimeZone, dobbiamo importare “datetime” dalla libreria datetime e “tz” dalla libreria dateutil.
Una volta importate le librerie necessarie, possiamo configurare Artesian, inserendo il link necessario e l’api-key.
Per poter estrarre questi due dati importanti, si può far riferimento al tutorial “Come Configure Artesian Python SDK“.
Terminata la configurazione di Artesian, possiamo configurare il MarketData Service
from Artesian import ArtesianConfig, Granularity, MerketData
from Artesian import datetime
from dateutil import tz
cfg = ArtesianConfig("https://arkive.artesian.cloud/{tenantName}/", "{api-key}")
mkservice = MarketData.MarketDataService(cfg)
Il MarketData Identifier e i dati necessari per la scrittura del Market Assessment TimeSeries
Una volta configurato Artesian e il MarketData Service, possiamo definire il MarketData Identifier, ovvero possiamo dare un nome al nostro MarketData.
Il nome del Provider, in questo caso sarà “PythonSDK”, mentre il nome del Market Data sarà “MarketAssessmentWrite”. La definizione di questi due campi è necessaria per due motivi:
- Il nome del Provider e il nome del Market Data rappresentano l’identificatore univoco della nostra curva su Artesian. Questa combo di valori viene poi tradotta nel MarketDataID.
- Il nome del Provider e il nome del Market Data sono necessari per ritrovare i dati all’interno del portale, tramite l’uso del filtro testuale libero o del filtro per categorie.
Definiti i nomi del market data e del provider, possiamo passare al decidere le caratteristiche di base della nostra Time Serie, come il tipo di Granularità, il tipo della Time Serie, la TimeZone e le Tags.
Artesian può supportare diverse granularità come: 10min, 15min, 30min, Hour, Day, Week, Month, Quarter, Season e Year.
Nel momento in cui decidiamo il tipo di granularità del nostro market data, lo dobbiamo scrivere di conseguenza, indicandone i valori. Nel caso di Granularity.Day, i dati corrisponderanno a un determinato giorno, di un determinato mese, di un determinato anno. Nel caso di Granularity.Hour, i dati corrisponderanno a una determinata ora (minuto e secondo) di un determinato giorno in un determinato mese e anno.
Le TimeZone va valorizzata con quella corrispondente al dato che stiamo salvando, questo aiuterà il sistema ad applicare le conversioni necessarie ai dati nel caso di estrazioni in una TimeZone differente dall’originale
Il Tipo della Time Serie, in questo caso è Market Assessment, ma potrebbe essere anche Actual, Versioned, BidAsk oppure Auction. Vedi gli altri tutorial.
Le Tags non sono obbligatorie, possono però essere utili nel categorizzare i nostri dati per poi permetterci di ritrovarli più rapidamente, scorrendo il menù del portale. In questo nostro specifico caso, setteremo le tags come “TutorialSDKPython”, con all’interno “PythonValue3” per questo nostro market data.
mkdir = MarketData.MarketDataIdentifier("PythonSDK","MarketAssessmentWrite")
mkd = MarketData.MarketDataEntityInput(
providerName=mkdir.provider,
marketDataName=mkdir.name,
originalGranularity=Granularity.Day,
type=MarketData.MarketDataType.MarketAssessment,
originalTimezone="UTC",
tags=
{
"TutorialSDKPython": ["PythonValue3"]
}
)
Controllo e registrazione del MarketData
Una volta settata la base del MarketData, bisogna controllare se questa Time Serie esista già. Per farlo dobbiamo passare il nome del provider e del market data, che sono degli identifier unici, e vedere se c’è un riscontro in Artesian. Nel caso ci sia un riscontro, i dati non potranno essere sovrascritti perchè già esistenti e salvati precedentemente. Nel caso non vi sia alcun riscontro, i nostri dati potranno essere salvati all’interno di Artesian, attraverso il comando “registerMarketData“.
registered = mkservice.readMarketDataRegistryByName(mkdir.provider, mkdir.name)
if(registered is None):
registered = mkservice.registerMarketData(mkd)
Scrittura dei valori del MarketData
L’ultima parte del nostro codice consiste nell’andare a configurare la scrittura verso Artesian.
I parametri necessari per farlo sono:
Il Marketdata identifier che abbiamo definito all’inizio del nostro codice
La TimeZone di riferimento del dato che stiamo scrivendo, questa deve essere “UTC” nel caso di dati a granularità oraria o inferiore (ovviamente con l’adeguata conversione dei dati se necessario), deve invece corrispondere all’OriginalTimezone nel caso di dati a granularità giornaliera o superiore. Questa conversione dei dati nel caso di granularità oraria o inferiore è necessaria ad Artesian per gestire correttamente i dati inviati ( es: cambio di ora solare/legale )
Le MarketAssessment rows sono un dizionario nidificato. La chiave per il primo livello del dizionario è la data e l’ora della richiesta di offerta che vogliamo scrivere. I valori sono un altro dizionario (di secondo livello) comporto da “product” e “MarketAssessment value”.
E’ obbligatorio scrivere almeno un valore all’interno dei dictionaries, in modo che il MarketAssessment sia salvato su Artesian.
Tra i valori da inserire, e suggeriti dall’IntelliSense, ci sono: “Open“, “Close“, “High“, “Low“, “Settlement“, “VolumePaid“, “VolumeGiven” and “VolumeTotal“. In questo caso terremo in considerazione solo open e close.
Un altro campo obbligatorio da scrivere è il DownloadedAt, un’informazione di tipo metadata che rappresenta quando il dato è stato scritto in Artesian.
Completati gli step precedenti, possiamo caricare la MarketAssessment Time Serie nel sistema, attraverso il comando “upsertData“.
marketAssessment = MarketData.UpsertData(MarketData.MarketDataIdentifier(mkdir, 'CET',
marketAssessment=
{
datetime(2020,1,1):
{
"Feb-20": MarketData.MarketAssessmentValue(open=10.0, close=11.0),
"Mar-20": MarketData.MarketAssessmentValue(open=20.0, close=21.0)
},
datetime(2020,1,2):
{
"Feb-20": MarketData.MarketAssessmentValue(open=11.0, close=12.0),
"Mar-20": MarketData.MarketAssessmentValue(open=21.0, close=22.0)
}
},
downloadedAt=datetime(2020,1,3).replace(tzinfo=tz.UTC)
)
mkservice.upsertData(marketAssessment)
Visualizzazione del nuovo MarketData nel portale Artesian
A meno che non ci siano errori da segnalare, nel terminal non apparirà nulla. Possiamo però, tornando sul portale di Artesian, verificare che la nostra TimeSerie appaia sotto la categoria ProviderName con il nome, datole precedentemente, di “PythonSDK”. Scorrendo il menù, possiamo anche notare la voce “TutorialSDKPython”, che non è altro che il nostro tag.
Basta eseguire l’operazione una sola volta per poi averla completamente riproducibile e automatizzata nel nostro workflow.
Questo non solo permette di risparmiare tempo, ma permette anche di ridurre al minimo gli errori umani dati dall’eseguire operazioni ripetute su grandi moli di dati o su diversi file Excel.
Un vantaggio innegabile che ci consente di focalizzarci sull’analisi del dato invece che sulla sua gestione e ottimizzazione.
