C’era una volta …. apistat.istat.it

Apistat.istat.it chiude. Mi dicono a causa di problemi legati ad alcune vulnerabilità riscontrate sulla sicurezza.

Certo, me ne dispiace un po, visto che sono il papà di Apistat. Ok, il mondo va avanti lo stesso, ma approfitto di questa triste e mesta circostanza per raccontarvi qualcosa di più e qualche retroscena su come è nato e come si è evoluto il sistema di API per accedere in modalità machine-to-machine a tutti i dati pubblicati dall’Istituto Nazionale di Statistica.

Dicevo che sono il papà di apistat (in realtà ho avviato tantissime attività e progetti legati all’innovazione ‘data driven’ in Istituto e sono tante le innovazioni che sono nate e sono state avviate grazie a questo tipo di attività:  i data warehouse e la diffusione dati, l’adozione di software Open Source, gli Open Data, l’Open Government, i Big Data, la scuola di Data Journalism, i Data Camp, i Data Lab, gli Hackathon) 

Apistat nasce esattamente 9 anni fa, nel momento in cui viene rilasciato dati.istat.it, ossia l’attuale sistema di diffusione dati dell’Istituto.

Va detto che non ero nuovo a operazioni del genere. Era già diverso tempo che avevo equipaggiato di API il sito demo.istat.it (che quest’anno festeggia i 20 anni di attività, è stato in assoluto il primo sistema di diffusione dell’istituto e anche il più longevo, visto che non è mai cambiato da allora (e di una riprogettazione ce ne sarebbe bisogno))  per cui mi sembrava un’operazione interessante poter fare una cosa analoga con dati.istat.it

C’è tanto spirito Hacker in quello che vi sto raccontando. Se avessi voluto seguire la strada ordinaria Apistat non sarebbe mai nato. Avrei dovuto presentare un progetto, il progetto sarebbe stato discusso a lungo in varie sedi dai vari direttori, in tanti avrebbero osteggiato l’operazione (cosa che è effettivamente avvenuta successivamente), e nella migliore delle ipotesi il progetto sarebbe stato affidato ad una “Task Force Interdipartimentale” con “tutti dentro” che per la legge di Cornuelle sarebbe stata coordinata da qualcuno preso a caso e che ovviamente non sarei stato io. 🙂

E così, sfruttando un accesso che avevo sul DB di diffusione per altre attività, nel giro di brevissimo tempo ho studiato come era stato progettato il database (cosa peraltro abbastanza complessa) e ho messo a punto un sistema di API Rest per interrogare in modo agevole il Data Warehouse ottenendo output in formato Json

A cose fatte, riuscii anche ad ottenere che le API  fossero esposte su internet e che fossero utilizzate per alcuni widget sulla Home Page del sito istituzionale www.istat.it. Boom!

In quel periodo fui addirittura contattato direttamente da OCSE e invitato a Parigi a tenere un intervento su “Open Data e API” e per partecipare ai lavori della Statistical Information System – Collaboration Community.  Parigi fu l’occasione per avviare il progetto Json-Stat Quello che mancava ad Apistat era infatti un modo per rappresentare dataset multidimensionali. E il modello Json-Stat ideato dal mio amico e collega Xavier Badosa poteva essere una ottima soluzione. Istat è stato in pratica il primo istituto al mondo ad implementare Json-Stat. In seguito lo faranno tantissimi istituti nazionali di statistica, ma anche organizzazioni internazionali come UNECE ed Eurostat. Potete trovare alcuni dettagli in un mio vecchio post dal titolo “Come accedere ai dati statistici pubblicati dall’Istituto Nazionale di Statistica (Istat) attraverso API”.

Apistat quindi è stato un elemento chiave per le attività di ricerca e sviluppo di nuovi framework per la trasmissione dati. Ma è stato anche un elemento fondamentale per quanto riguarda l’interazione con dati.gov.it, il Catalogo Nazionale dei Dati Aperti. 

Il Catalogo contiene infatti l’elenco di tutti i dataset rilasciati come Open Data da Pubbliche Amministrazioni centrali e locali. Attraverso un’API specifica di Apistat è stato possibile per diversi anni alimentare in modo automatico il catalogo Nazionale con tutti i dataset che man mano venivano pubblicati da Istat. Ho avuto modo di parlare in breve di questo aspetto  in questo articolo risalente ad un paio di anni fa “Istituzioni “open”: come cresce la Api economy?”

C’è infine un terzo aspetto su cui Apistat ha avuto un impatto, ed è quello relativo alle varie comunità di “consumatori” di dati con cui nel tempo ho avuto modo di interagire.

Nonostante Apistat non sia mai stato considerato da Istat un canale ufficiale per la diffusione dati (e infatti non troverete mai nessun riferimento ad Apistat sui sito istituzionale dell’istituto), è stato comunque ampiamente utilizzato in progetti, Hackathon e Data Lab. Alla fine sono stati in tanti a fare “cose” con i dati statistici di Istat attraverso le API. Su tutte ne cito una. E’ una bellissima azione di “Hacking Civico” che è stata architettata e realizzata dal Presidente di onData Andrea Borruso. Il racconto in tutti i suoi particolari lo potete leggere nel post che ha un titolo bellissimo. Non vi anticipo nulla per non togliervi il piacere di leggere: Il feed RSS migliore di sempre: quello per sapere quando un dataset ISTAT viene aggiornato

 

Grazie Apistat 

R.I.P.

Vincenzo Patruno
Vincenzo Patruno

Latest posts by Vincenzo Patruno (see all)

    2 thoughts on “C’era una volta …. apistat.istat.it

    1. caro Vincenzo
      grazie per averci raccontato una storia che hai vissuto direttamente e che ha dato l’opportunità a tante persone di conoscere e di sfruttare i dati ISTAT tramite interfacce API.

      Quello che descrivi, quello che hai fatto è qualcosa di veramente prezioso per la cultura dell’apertura dei dati delle Pubbliche Amministrazioni.
      La cultura dell’amministrazione aperta ritengo sia la cosa più importante, l’elemento che sta alla base di un processo di innovazione e cambiamento della PA.
      Come ben sai anche io lavoro da 30 anni dentro il comune di Palermo e da circa 6 anni mi occupo di veicolare l’apertura pubblica (online) dei dati che i vari uffici detengono nella normale attività di gestione delle competenze. Quindi questo tuo racconto mi tocca! Siamo uniti da una cultura e sensibilità comune.

      E’ triste leggere/sentire nel 2019 che il “servizio” Apistat.istat.it chiude a causa di “problemi legati ad alcune vulnerabilità riscontrate sulla sicurezza”. Nel 2019 la tecnologia esistente sul pianeta TERRA consente ad un ente pubblico italiano grande come ISTAT di mettere in “sicurezza” APISTAT. E’ solo questione di lavorarci le giuste persone.

      Come sempre, quando andiamo a sbattere su queste circostanze, ci rendiamo conto, senza difficoltà, che non è un problema di mancanza di tecnologia o di tecnici, ma è un problema di “scarsa” sensibilità politica e culturale da parte di chi sta nelle posizioni apicali dell’ente pubblico.
      Ormai lo abbiamo imparato in diverse circostanze in varie PA.
      Se in quell’ente nelle posizioni apicali c’è un Matteo Fortini, Andrea Borruso, Maurizio Napolitano, Giovanni Pirrotta, Giorgia Lodi, davide Taibi, Giovan Battista Vitrano, Totò Fiandaca, Guenter Richter, Vincenzo Patruno, Matteo Brunati, Morena Ragone, Piersoft Paolicelli, ….. allora siamo sicuri che quell’ente pubblico farà scintille in termini di open government, open & big data, interoperabilità semantica, ecc……!
      Ma se in quell’ente nelle figure apicali c’è un Nome Cognome che non ha sensibilità e cultura dei temi dell’apertura dei dati, dell’informatica, dell’agenda digitale, dell’interoperabilità delle banche dati, ….., allora non basteranno 1000 Codici dell’Amministrazione Digitale e 1000 Piani triennali per l’Informatica e 1000 linee guida tecniche del Team Trasformazione Digitale a far fare il passo in avanti tecnologico che nel 2019 è d’obbligo fare per le PA.

      Un servizio API (Application Programming Interface) di una PA non può chiudere! Si affrontano i problemi esistenti (sicurezza o altro) e si risolvono, ma non si chiude un servizio pubblico di API.

    Lascia un commento

    Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

    Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.