Big Data – deel 1: Wat is Big Data?

Steeds vaker kom je in de IT termen tegen als Big Data, NoSQL en Internet of Things. Wat betekenen deze begrippen en in welke maat hebben organisaties hiermee te maken? In deze blog ga ik deze begrippen voor de niet technische lezer uitleggen, zodat deze termen meer betekenis gaan hebben.

It all starts with data

We zijn er in deze tijd continu mee bezig om feiten (gebeurtenissen) vast te leggen op mobiele telefoons, laptops, smartwatches en sensoren (gps, weerstations, etc). Deze feiten zijn echter waardeloos zonder context. De context is het standaardiseren en transformeren om deze feiten te kunnen interpreteren zodat we onderbouwd besluiten kunnen nemen.

Big Data

Om deze feiten te standaardiseren, dienen ze opgeslagen, opvraagbaar en visueel gemaakt te worden. Omdat wij in deze tijd meer feiten vastleggen dan 10 jaar geleden neemt de vraag naar opslag toe. Bovendien registreren we de feiten op verschillende manieren (selfies, posts/tweets en sensoren) en heb je kans dat feiten van tijdelijke aard zijn. In de basis noemen de we dit Big Data. Het is Big data als het tenminste voldoet aan de drie V’s:

1. Volume
   In de boeken staat dat we met Volume te maken hebben als dat we spreken over Terabytes en Pentabytes aan informatie. Wat ik geleerd heb is dat Data Warehouses niet altijd geschikt zijn om bepaalde vraagstukken te beantwoorden. Dit ga je merken wanneer de snelheid van antwoorden op een informatie vraagstuk langer duurt dan wenselijk is. Meer hierover in relationeel versus non relationeel.
2. Variatity
   Dit is de variëteit waarin we de feiten vastleggen. Traditioneel gezien worden feiten aangeleverd vanuit bronsystemen (CRM, ERP, etc.), maar tegenwoordig kan het overal vandaan komen en in ieder willekeurig format (foto’s, video’s, platte informatie en hiërarchische informatie). Waarneer je te maken hebt met een diversiteit aan bestanden, dan spreken we van de V van Variarity.
3. Velocity
   Hier gaat het om vluchtige feiten. Dit zijn met name berichten die klaar zijn gezet in een wachtrij (Queue) voordat ze worden verwijderd. Je kan dit een beetje zien als een wachtrij in de Efteling voor de achtbaan. De wachtrij heeft een bepaalde lengte en de karren van de achtbaan zijn het transport medium welke verantwoordelijk is voor veilig afleveren van de mensen.

We hebben Big Data en nu?

Zoals ik hiervoor al had beschreven, hebben feiten zonder context geen waarde. Ook binnen Big Data moet context gecreëerd worden om uit deze brei van data waarde te halen die kan leiden tot betere besluitvormingen. Traditioneel gezien slaan we deze feiten op in een relationele database (hierover later meer) en creëren we context door de feiten te transformeren naar business context (ETL -> Extract Transform & Load).
Binnen Big Data verliezen we een hoop tijd en ook feiten (Velocity) wanneer we deze data gaan opslaan in tabellen. Dit is niet alleen zonde van de tijd maar ook van de inspanning, omdat de feiten welke zijn opgeslagen in de berichten vaak ook al een standaard structuur hebben.  Binnen Big Data gaan we de feiten opslaan “As Is“. Wanneer de data opgeslagen is op het Big Data platform kunnen we context gaan creëren (Transform) dit proces heet ELT (Extract Load Transform).

Om een keus te maken in het oerwoud van databases, documentstores en hadoop (ecosystemen). Ga ik in de volgende blog wat dieper in op de verschillen tussen deze systemen en hoe je kan bepalen welke systeem het beste past bij jouw wensen/situatie.