Hoe tem je een Digitale Draak?
Data Lineage in de complexiteit van samengestelde systemen.
Onze wereld raakt meer en meer afhankelijk van data. We fuseren, reorganiseren en innoveren er lustig op los. Ook met onze data-inrichting. Maar wat doet dat met onze Data? Kunnen we de juistheid van onze data nog wel volledig verifiëren? Het kunnen herleiden van datastromen -oftewel Data Lineage- is in deze tijd belangrijker dan ooit. Al is het alleen maar om te voldoen aan wet- en regelgeving. Tegelijkertijd is Data Lineage in de groeiende complexiteit van systemen een gevecht tegen een digitale draak. Een draak die we zelf hebben gecreëerd.
Om de innovaties bij te houden en onze processen te vereenvoudigen, kiezen we voor nieuwe datasystemen. Dat wil echter niet zeggen dat de bestaande “legacy” systemen worden opgeruimd. Al deze systemen zijn met de beste bedoelingen gebouwd en geïmplementeerd. Maar als ze samen moeten werken, ontstaat er een monster van gigantische proporties en complexiteit. Een digitale draak, die we zelf hebben samengesteld en die we dagelijks laten groeien door het te voeren met nieuwe data. Zolang er geen gekke dingen gebeuren, is er niets aan de hand. Dan blijft de draak rustig.
Data Governance
Met het oog op de toekomst hebben we onze handen vol aan de vereiste 21st Century Skills. Maar hoe zit het, als we rekenschap moeten geven van het verleden, oftewel: is onze Data Governance nog wel op orde? Kunnen we de draak dan rustig onderzoeken of halen we ons dan zijn woede op de hals? Steeds meer instanties zijn volgens de wet- en regelgeving verplicht om openheid van zaken te geven en volledige verantwoording af te leggen over de herkomst van hun data.
Als je dan nog moet beginnen met het verzamelen van gegevens, ben je te laat. Zo worden ongeregeldheden in datastromen vaak pas ontdekt als de draak al in de lucht is en zijn vurige adem al slachtoffers eist. De recente gebeurtenissen rond de Belastingdienst of Nederlandse banken, laten maar al te duidelijk zien waar dat toe kan leiden. Een gevallen kabinet, om maar iets te noemen. Niemand weet waar de fout zit, of wie de fout heeft begaan.
Het is de draak. Oftewel: het resultaat van het onzorgvuldig samenvoegen van systemen en migreren van data.
Maar hoe kunnen we ons verdedigen, dan wel de draak verslaan? Dat kunnen we niet. En dat moeten we ook niet willen. Bovendien, als al onze systemen inzichtelijker en toegankelijker worden, is zo’n draak een schitterend beest. Stel je voor dat je de draak kunt temmen? Kan dat? Ja dat kan. Maar dan moet je wel de taal van de draak spreken.
Data Lineage: tem de draak
Om inzicht en controle over complexe data inrichting terug te krijgen, is er maar één manier: automatisering. In het geval van Data Lineage betekent dat: geautomatiseerde Data Lineage. Software die voor elk dossier, bestand of dashboard automatisch de datastromen kan herleiden tot de bron. Die de transformaties en migraties van de betreffende data overzichtelijk in beeld brengt en waar in één oogopslag ongeregeldheden kunnen worden gedetecteerd. Zo hoeft de draak niet dood, maar wordt de draak getemd.
Die software is er nu. Het heeft de testfase glansrijk doorstaan en kan veilig worden geïmplementeerd.
