Big Data – deel 5: Van On Premise naar Cloud

In mijn vorige blogs heb ik een introductie gegeven over Big Data (“Big Data –deel 1 en 2“) en hoe je een selectie kunt maken tussen de verschillende leveranciers (“Big Data – deel 3“). In mijn laatste blog heb ik beschreven waarom het belangrijk is dat processen, visie en techniek samen vallen om Big Data succesvol te implementeren bij organisatie(s).

Deze blog beschrijft de veranderingen die organisaties moeten ondergaan en welke ingrediënten ze nodig hebben om in te kunnen spelen op de behoefte van de toekomst.

Regie versus eigen beheer

Binnen iedere organisatie waar IT een belangrijke of cruciale rol speelt, wordt gebruik gemaakt van een IT Infrastructuur (servers, netwerken, te samen met het Operating System) welke functioneert als landingsbaan voor de informatiesystemen die bedrijven nodig hebben om hun procesinformatie te borgen en te onderhouden.
De complexiteit van de IT Infrastructuur is afhankelijk van de hoeveelheid systemen, koppelingen en werkplekken. Deze blog focust zich vooral op de systemen en koppelingen.  Organisaties kiezen voor het onderhoud van de infrastructuur op basis van kosten, kennis, en bestaande infrastructuur voor regie of eigenbeheer.

Regie

Regie kan in twee vormen plaats vinden:  insourcing en outsourcing. Insourcing is het inhuren van capaciteit in de organisatie. Dit zie je vaak bij organisaties die al fors hebben geïnvesteerd in hun IT infrastructuur en voldoende ruimte en mogelijkheden hebben om op locatie uit te breiden. Meestal huren deze bedrijven expertise in bij gebrek aan kennis of schaarste in de markt. Outsourcing is het verplaatsen van beheer werkzaamheden buiten organisaties. Beide vormen ontzorgt de organisatie. Om regie te houden over de kwaliteit en de afspraken met de externe leveranciers wordt er vaak een interne coördinator / team lead aangenomen om hier regie over te voeren.

Eigenbeheer

Natuurlijk zijn er ook genoeg organisaties welke de IT infrastructuur in eigen beheer hebben. Dit zijn meestal bedrijven waarvan de output van de bedrijfsprocessen fysieke eindproducten zijn (CAD / CAM processen) of organisaties die voldoende ruimte hebben voor servers.  Deze bedrijven hebben vaak eigen ontwikkelteams en systeembeheerders / netwerkbeheerders in huis.

On premise naar cloud

De schaalbaarheid van de IT infrastructuur en de (on)mogelijkheden van on premise systemen zorgt dat bedrijven beperkt worden in hun mogelijkheden om hun processen te optimaliseren of te vernieuwen. Het gevolg hiervan is dat ze door concurrenten worden ingehaald en markt verliezen (door te dure producten als gevolg van ineffectieve processen).

Daarnaast zijn er steeds minder (informatie)systemen te verkrijgen die op de on premise infrastructuur te installeren zijn. Dit brengt twee cultuur veranderingen met zich mee:

1. Het verdwijnen van Technisch Applicatie Beheer.
   De systemen staan in de cloud en het technisch onderhoud wordt ook door de leverancier uitgevoerd. Functioneel beheer voert regie uit op de leverancier.
2. Huidige BI processen en kennis voldoen niet meer.
   SaaS leveranciers geven geen toegang tot hun database, maar stellen extracten beschikbaar via REST API.

Big data

Bedrijven die bezig zijn met Big Data (waar de drie V’s in voor komen: Volume, Variety en Velocity) kunnen onvoldoende opschalen ten opzichte van data die ze binnen krijgen. Daarnaast ontstaan er ook problemen omtrent het verwerken van deze data. Waaruit blijkt dat de huidige infrastructuur en gekozen platformen niet meer voldoen aan de wensen van nu en van de toekomst.

De oplossing voor deze problematiek is een scale out architectuur in de cloud. Dit betekent dat i.p.v. de hardware zwaarder uit te rusten meer (virtual)machines worden geclusterd, waardoor rekenkracht en geheugen doelgerichter worden ingezet. Hierdoor zijn we in staat om lineair op en af te schalen in zowel performance als in volume. Daarnaast willen we data die we ontvangen van verschillende aanbieders opslaan zoals deze wordt aangeboden (“write before scheme”) zonder dat we geremd worden door de beperkingen van tabelstructuren van relationele databases. Daarna gaan we over de bigdata semantiek leggen, zodat de data opvraagbaar is.

Om deze oplossing te implementeren, dient er een verandering in de IT Infrastructuur plaats te vinden.
Het gevolg daarvan is een hybride architectuur, wat betekent dat bestaande systemen on premise draaien en nieuwe systemen (Greenfield) zich verplaatsten naar de cloud. Voor het technisch beheer betekent dit dat het aandachtsveld gaat verplaatsen van on premise naar cloud en er op lange termijn (tussen 5 en 10 jaar) geen technisch applicatie beheer meer is (in vorm van beheren van eigen apparatuur en platformen).

Om op deze verandering in te spelen dient er een verschuiving plaats te vinden van competenties in traditionele beheer naar de cloud. Afhankelijk van de gekozen snelheid (budget en aanwezige kennis) dienen deze competenties ingevuld te worden, uiteraard met respect voor de aanwezige cultuur.

Om een beeld te geven hoe deze verschuiving plaats kan vinden heb ik een overzicht gemaakt van de activiteiten die een traditionele beheerder uitvoert en hoe deze zouden kunnen verschuiven naar de cloud.

Onderhoud van servers

Zoals je kunt zien in figuur 1 wordt het onderhoud van fysieke servers en operating systems steeds minder, de snelheid van de competentieverschuiving is afhankelijk van de gekozen diensten in de cloud. Hierbij zijn drie keuzes te maken:

1. IaaS (Infrastruture as a Service)
   Het huren van fysieke rekenkracht, schijfruimte, geheugen en een operating system
2. PaaS (Platform as as Service)
   Het huren van platformen inclusief infrastructuur (Database, Enterprise Service Bus)
3. SaaS (Software as as Service)
   Het huren van software, platform en infrastructuur. 

Het beheer zal bij het kiezen van SaaS diensten het laagst zijn en bij IaaS het hoogst (zie figuur 1, 2 en 3). Maar beheer zal er altijd blijven. Echter wel in een andere vorm.

Integratie beheer

De behoefte om verschillende softwarepaketten te laten aansluiten op de bestaande gebruikers systemen, netwerken platformen op elkaar te laten aansluiten zal groeien. In de cloud terminologie noemen we dit “Integratie beheer”. 
Daarnaast vindt er een verschuiving plaats van eenmalige kosten voor aanschaf naar het betalen voor gebruik van de gekozen diensten. Het optimaliseren en balanceren van de kosten en het gebruik zal voor het beheer team gaan toenemen. 
Waar de grootste behoefte gaat ontstaan is het integreren van verschillende losse SaaS producten met elkaar. 

Werkplek beheer en database beheer

Bij het selecteren van een Cloud PaaS Database als vervanging van de on premise database worden de  DBA werkzaamheden omtrent “Backup & Restore” verlegd naar de cloud provider en cloud engineer. Daarnaast worden werkzaamheden omtrent patchen van software door de OTAP straat heen overgenomen door slimme “Building Pipe Lines” waardoor deze werkzaamheden worden verschoven naar de ontwikkelaars.  
Overstappen naar de cloud heeft voor en nadelen, deze worden in de volgende hoofdstukken beschreven.

Voordelen van cloud

De verschuiving van on premise naar de cloud levert een aantal grootte voordelen op waar we straks verder op in gaan. Een van de belangrijkste randvoorwaarde om naar de cloud te gaan is dat de organisatie in zekere mate agile moet kunnen werken en denken. Het Agile gedachtegoed sluit naadloos aan op de mogelijkheden die het cloud platform biedt.
Hieronder opgesomd de 4 grootste voordelen van de cloud

1. Schaalbaarheid
   In de cloud kan er “on demand” worden op- en afgeschaald op zowel rekenkracht (cpu, geheugen en schrijfruimte) als platforms en software. Dit zorgt dat de IT afdelingen klantgerichter kunnen werken en zich meer kunnen focussen op de klant behoefte.
2. Time to market
   Omdat je niet meer hoeft te wachten om hardware bij te schalen en in te richten, kan er sneller begonnen worden met realiseren van de wensen van de klant. Hierdoor worden IT afdelingen flexibel en klantgericht.
3. Betalen naar gebruik
   In de cloud betaal je alleen naar wat je gebruikt. Dit betekent dat je behoorlijk kan besparen wanneer cloud diensten niet gebruikt worden. Uiteraard dient dit wel gemonitord worden anders verlies je dit voordeel en kan dit zelfs negatief uitpakken
4. Beschikbaarheid
   Data die in de cloud staat, heeft standaard een hoge beschikbaarheid. Dit betekent dat de IT afdeling zich niet hoeft bezig te houden om de data redundant op te slaan. 

Nadelen van cloud

Het nadeel van de cloud is dat het gebruik van data geld kost. Data transporteren naar de cloud is (meestal) gratis. Maar data uit de cloud lezen kost de eigenaar van de data geld. Ook is het gebruik van data niet in te schatten. Dit zorgt voor een bepaalde onzekerheid.

Een ander nadeel is de “vendor lock-in”. Grote cloud providers bieden naast infrastructuur ook platform services en software in de cloud waar je sneller gebruik van zult maken als je de data al naar de cloud hebt verhuisd.

Daarnaast is bredere kennis nodig van de samenhang van infrastructuur, platformen en software services. Deze rol wordt vaak belegd bij een solution architect of een cloud engineer.

Gevolgen

Verhuizen naar de cloud heeft gevolgen voor de cultuur en werkzaamheden die de huidige IT beheer afdeling uitvoert. Deze afdeling moet meegenomen worden in het cloud gedachtegoed. Zonder coaching wordt deze visie niet gedragen door afdelingen en zal de business hieronder leiden.  

Toekomst

Om te kunnen innoveren of processen te optimaliseren is het noodzakelijk om aan de onderkant een flexibele technische schil te hebben. Big Data en IoT zijn voorbeelden waarbij je een flexibel platform en infrastructuur nodig hebt. Om flexibel te kunnen schalen (met platformen en infrastructuur) kun je niet zonder de cloud. Daarom is het voor de meeste bedrijven niet te doen om “on premise” te blijven. Hierbij is een cultuurverandering noodzakelijk om dit gedachtegoed in goede banen te kunnen leiden.