Geïntegreerde data, de start van elke berekening

Om waardevolle informatie te creëren uit ruimtelijke data en om verschillen in plaats of tijd te vinden, is toegang en standaardisatie een must. Elke data scientist, consultant of wetenschapper weet: het grootste deel van mijn tijd zal opgaan aan data preparatie. En de vervolgvraag: kan dat niet anders. Wij weten inmiddels het antwoord: ja dat kan.

Bij veel nutsbedrijven zijn de faal- en assetdata opgeslagen in verschillende gescheiden databronnen. Veelal komt dat omdat deze databases gekoppeld zijn aan de bijbehorende data registratiesystemen. En juist daarom is niet zo makkelijk deze databases samen te voegen tot één database, dit kan de continuïteit van de data registratie in gevaar brengen.

Op het moment dat een drinkwaterbedrijf, netbeheerder, gemeente of waterschap het principe van data gedreven management van ondergrondse assets heeft omarmd, ontstaat de behoefte aan uniforme en gestandaardiseerde data. Op die maner kunnen modellen worden gedraaid en kan de inkomende data worden beoordeeld op betrouwbaarheid. Tijdens het transformeren en integreren van de ruimtelijke data uit interne databronnen of bronnen van buiten de organisatie wordt bekeken

• of de data toegankelijk is
• of de data compleet is
• hoe we met gaten in de data omgaan en met extreme waarden
• of de tijdsdefinities uniform zijn
• of het formaat van de data geschikt is voor verwerking door een algoritme, bijvoorbeeld de maximale lengte van de strings, aanwezigheid van hoofdletters, etc.

In praktijk kost data preparatie de meeste tijd bij het uitvoeren van een modelberekening. En zeker in gevallen waarin de berekeningen herhaald worden is datapreparatie een saaie en energievretende bezigheid.

Spatial Insight

Spatial Insight is een Nederlandse data science consultancy gespecialiseerd in het management van ondergrondse assets. Wij combineren de expertise van GIS, asset management en data science. Wij geloven in data gedreven asset management om tot optimale, objectieve en reproduceerbare oplossingen te komen. Ook helpen we beheerders van ondergrondse infrastructuur om de overlast bij burgers te beperken en kosten te besparen door hun werkzaamheden af te stemmen.

Korting op berekeningen met ADI

Steeds vaker vragen de organisaties die we ondersteunen met onze modelberekeningen of we ook de onderliggende data kunnen structuren en het beheer van de ruimtelijke data kunnen verbeteren. Daarom ontwikkelde we ADI op basis van een datawarehouse oplossing van onze strategisch partner Spatial Eye. Onze aanpak: laat de oorspronkelijk data staan waar die staat, of dat nou intern of extern is en inclusief open data. Haal de data binnen en zet deze op een gestandaardiseerde manier in een nieuwe omgeving neer. We voeren direct controles uit op de nieuwe data en leggen vast welke wijzigingen er in de data worden aangebracht. Maar we doen meer. Echt onderscheidend is de stabiliteit van ADI. Hiertoe draaien we een aantal kleinere scripts. Daarmee identificeren we ook missende of afwijkende data, waarmee de kwaliteit van de data verhoogd kan worden.

Uw eigen of externe data scientists zullen dankbaar gebruiken van ADI en veel effectiever zijn in hun werk, de business case is snel gemaakt. Spatial Insight geeft aanzienlijke kortingen op berekeningen aan bedrijven die ADI hebben draaien.

Data veiligheid

Data is steeds waardevoller voor veel organisaties. Om die reden en om kwaadwillenden geen mogelijkheid te geven schade toe te brengen, passen de meeste organisaties strikte data veiligheidsvoorschriften toe. Wij hanteren interne processen voor informatiebeveiliging die gebaseerd zijn op de ISO 27001. In elke situatie is en blijft de data eigendom van de opdrachtgever.

Randvoorwaarden

Om ADI te implementeren geeft de opdrachtgever toegang tot de verschillende onderliggende databronnen. We ervaren dat datamanagers ICT-managers wel eens moeten overtuigen om de ontsluiting van data te ondersteunen. Het is daarom zinvol om hem/haar in een vroeg stadium in het project te betrekken.

Volgende stap

We hopen en vertrouwen erop dat ADI een waardevolle bijdrage levert aan het data gedreven assetmanagement van uw organisatie. Graag verkennen we hoe we ADI bij uw organisatie kunnen inzetten.

Figuur 1. De stappen transformatie en integratie (samen ‘data preparatie’) als onderdeel van het creëren van informatie uit data.