Už sú to skoro 2 roky, čo som na základe otvorených dát mesta Bratislava spúšťal nový projekt Otvorená Bratislava. Plný nadšenia som vtedy odpúšťal detské chyby, keďže prísľuby boli veľké a mesto komunikovalo.
Teraz, v septembri 2022 som spustil nový projekt, ktorý už nie je postavený na dátach jedného mesta a je teda odolnejší voči zmene nálad jednotlivých úradníkov.
Prečo
Keďže som veľký fanúšik otvorených dát, rozhodol som sa spracovať finančné údaje samospráv ako sú faktúry, objednávky či zmluvy a poskytnúť tak jednoduchý a rýchly prehľad údajov. Napríklad za čo dané mesto platí najviac, či od koho si čo objednáva. Následne nad týmito dátami tvorím jednoduché prehľady, keďže vizuálne zobrazenie čísel občas pomáha ich lepšiemu pochopeniu. Po prvotnom spustení projektu Otvorená Bratislava som si položil otázku, prečo sa obmedzovať len na jedno mesto? Tieto údaje predsa môžu zaujímať aj ľudí, ktorí nebývajú v hlavnom meste a tiež chcú vidieť, kam idú peniaze ich mesta. Taktiež som bol oslovený ľudmi z magistrátu mesta Košice, ktorým sa projekt páčil a radi by videli niečo podobné s využitím dát z ich nového opendata portálu.
Odkiaľ zobrať dáta
Mesto Bratislava s veľkým "haló" spustilo svoj opendata portál v roku 2020. Za ten získalo ocenenie top digitálny projekt roka na konferencii ITAPA. Dnes, v roku 2022 je tento projekt polomŕtvy. Dáta k faktúram nie sú aktualizované už viac ako 9 mesiacov, objednávky sú na tom podobne, zatiaľ čo tam pribúdajú nové datasety rôznej kvality. V januári tohto roku som spísal blog, kde som zdokumentoval aké chyby ich portál obsahuje, avšak jediné čo som nim dosiahol bolo to, že mesto úplne prestalo komunikovať, akoby zodpovední nevedeli prijať konštruktívnu kritiku s návrhmi na zlepšenie.
Preto ma veľmi potešilo, keď ma oslovili ľudia z Košíc, že spustili svoj vlastný opendata portál a videl som že funguje. Veci, ktoré som už od začiatku kritizoval pri Bratislave majú Košice vyriešené a spracovanie ich dát je oveľa jednoduchšie.
Iné slovenské mestá, ktoré sú aktuálne v databáze, si vlastný opendata portál nestavali na zelenej lúke (okrem Jaslovských Bohuníc, ktoré majú jednoduchú podstránku s datasetmi na stiahnutie), ale keďže časť z nich používa informačný systém samosprávy od firmy Cora Geo, využili jeho opendata modul, cez ktorý zverejňujú dáta v jednotnej štruktúre.
Oslovil som aj firmu Datalan, ktorá prevádzkuje projekt digitalnemesto.sk, kde má svoje dáta viac ako sto miest, avšak aktuálne žiaden strojový prístup ku nim neposkytujú, čo sa dúfam zmení.
Ako dáta spracovať
Košický opendata portál ponúka to, čo som pred pár rokmi kritizoval, že Bratislave chýba. Plne funkčná API bez nutnosti registrácie (registrácia pre použitie API u otvorených dát je veľký krok proti samotnej filozofii otvorených dát, ale niektorí prevádzkovatelia to stále vyžadujú), ktorá poskytuje všetky dáta v dobrej štruktúre, rýchlo a bez výpadkov. Zodpovední komunikovali a poradili v prípade otázok, takže integrácia takýchto dát je fakt bezproblémová. Žiadne starosti s rôznymi štruktúrami tabuliek, či znakovými sadami každý mesiac, ako bol problém Bratislavy.
Mestá využívajúce systém od firmy Cora Geo zverejňujú svoje dáta ako stiahnuteľné súbory vo formáte JSON, XML, XLSX, či PDF. JSON formát je pre strojové spracovanie výborný avšak ako nevýhodu musím spomenúť to, že vždy je nutné stiahnuť celý súbor, zatiaľ čo pri sťahovaní dát cez API (ako v prípade Košíc), ťahám len nové a zmenené údaje. Toto je však len drobnosť, ktorá nijak nekomplikuje samotné spracovanie.
Po prvotnej analýze dát miest z Cora Geo systému som si všimol, že okrem rozdielnej granularity dát pri použití rovnakého systému (Levice napr. zverejňujú aj stav úhrady faktúry, zatiaľ čo Malacky len sumu, dodávateľa, predmet a dátum), niektoré mestá nezverejňujú IČO dodávateľov. Postupne oslovujem v spolupráci s OZ Alvaria jednotlivé obce s požiadavkou o doplnenie tohto kľúčového identifikátora do datasetov. Čo ma pozitívne prekvapilo je, že zástupcovia obcí/miest ochotne komunikujú a snažia sa v spolupráci so správcom IS tieto údaje doplniť. Tento údaj je veľmi dôležitý aj pre prepojenie dát s údajmi z Finstat.sk (ktorým týmto ďakujem za dáta).
Celý portál openstats.city som od začiatku pripravoval tak, aby bol schopný spracovať dáta zo strojovo spracovateľných zdrojov každého mesta bez nejakej nutnosti úpravy kódu celého projektu, vďaka čomu pridať dáta nového subjektu je aj s testovaním otázka 1-2hodín. Toto môže byť aj motivácia pre ostatné mestá, ktoré by sa na svoje dáta chceli pozrieť v spracovanej podobe, že ich stačí jednoducho zverejniť cez API, alebo v JSON formáte (pracujem na konektore pre XML) a už o niekoľko hodín môžu byť spracované.
Čo zlepšiť
Ako som už spomenul vyššie, ani tieto dáta nie sú ideálne, ale sú natoľko kvalitné, že sa dajú použiť bez komplikovanej úpravy každý mesiac. Odhliadnuc od technického hľadiska sa im však dá vytknúť chýbajúca väčšia granularita, jednotlivé prepojenia (číslo objednávky, či zmluvy ku faktúre ak existuje), či odkaz na samotný dokument v elektronickej podobe. Toto všetko však poskytujú Košice. Preto sú pre mňa ako dátového inžiniera, ktorý sa venuje spracovaniu otvorených dát, číslo jedna na Slovensku.
Výsledok
Aby som sa vrátil ku pôvodnej otázke z nadpisu, výsledok nie je až tak prekvapivý. Mestá primárne míňajú peniaze na odvoz odpadu, práce súvisiace so stavebným sektorom (rôzne rekonštrukcie, či nové stavby), či energie. Je však možné ľahko zistiť, že napr. v Leviciach má jedna firma podchytený biznis s mestom natoľko, že minimálne posledných 10 rokov sumárne faktúruje násobky oproti konkurentom.
Čo ďalej
Portál openstats.city je len na začiatku. Veľmi rád by som tam postupne zapracoval každé slovenské mesto a pripravil viac interaktívnych dashboardov a následne spracoval aj iné finančné údaje, ako sú napr. rozpočty. Taktiež sa snažím spracovať aj údaje zo zahraničia (ako prvá lastovička je magistrát mesta Praha). Všetko záleží od miest/obcí koľko dát a v akej kvalite sa rozhodnú zverejňovať. Ako fanúšik otvorených dát pevne verím, že to bude čo najviac.
Bonusová otázka a odpoveď
Často počúvam otázku, prečo tak veľmi kritizujem magistrát Bratislavy. Dôvod to má úplne jednoduchý. Nie je to žiadna politika, či nejaké presvedčenie, je to len obyčajný smútok a hnev, že tak dobre rozbehnutý projekt, ktorý mal potenciál (opendata portál mesta Bratislavy) nechali "umrieť na krásu". Urobilo sa veľké haló, prisľúbilo sa všeličo, ale realitou je, že zamestnanci nevedia robiť ani len obyčajnú údržbu a aktualizáciu už existujúcich datasetov. Opendata portál, ktorý má stále nové a nové datasety, ale staré nemá aktualizované je len trošku krajší "sharepoint", nič viac. A to, že začali hrať mŕtveho chrobáka a prestali odpovedať na emaily , tomu všetkému len nasadilo korunu.
