Andreas Bartsch, hoofd servicelevering bij PBT Group
Ook al is er de afgelopen jaren over gesproken, DataOps is pas echt in een stroomversnelling gekomen in de afgelopen 18 maanden of zo. En hoewel de maturiteit hiervan nog laag is, zoeken organisaties naar mogelijkheden om efficiënter en wendbaarder te worden bij het verbeteren van hun leveringscyclus en het verminderen van de overheadkosten voor onderhoud.
Maar wat is DataOps en waarom is het belangrijk? IBM definieert het als de orkestratie van mensen, processen en technologie om vertrouwde, hoogwaardige gegevens aan consumenten te leveren, zowel vanuit het perspectief van de werknemer als de eindgebruiker. Een meer formele definitie is te vinden in Gartner waarin staat dat het een gezamenlijke datamanagementpraktijk is, gericht op het verbeteren van de communicatie, integratie en automatisering van datastromen tussen datamanagers en dataconsumenten binnen een organisatie.
Er is echter een van de meest gebruiksvriendelijke definities te vinden hier . Het houdt van data voor de verkeersstroom door een stad. De wegen zijn de datapijpleidingen en de DataOps is de transportplanning die alles omvat, van het aanleggen van nieuwe wegen en kruispunten tot het bestuderen en onderhouden van oude en ervoor zorgen dat de constructie geen patstelling veroorzaakt.
Met andere woorden, DataOps komt neer op het sourcen van gegevens uit het datawarehouse en al zijn lagen (waaronder datameren en operationele datastores kunnen vallen) tot en met het exfiltratieproces (denk aan rapportage en dashboarding).
Voorafgaand aan de opkomst van DataOps, gebeurde het meestal dat data-ingenieurs, modelleurs en architecten de pijplijn ontwierpen van de bron naar het datawarehouse-stadium. Het werd vervolgens neergelegd voor verkenning door eindgebruikers via dashboards en andere visualisatie-elementen. Van daaruit ontwikkelden de datawetenschappers modellen. Er zat echter geen echte IT-governancestructuur achter het proces.
Maar met DataOps is het ontwikkelingsproces slechts één aspect van het werk. Een ander, misschien wel belangrijker onderdeel, is het onderhoudsaspect om ervoor te zorgen dat alles consistent en zo snel mogelijk verloopt. Beschouw DataOps als een gezamenlijke datamanagementpraktijk gericht op het verbeteren van de communicatie en datastromen tussen datamanagers en consumenten in de organisatie, waarbij silo’s worden verwijderd terwijl ze verder gaan.
Door DataOps te integreren, maakt het bedrijf een snellere ontwikkelingscyclus mogelijk en introduceert het een efficiëntere en geautomatiseerde benadering van gegevensonderhoud. In wezen is het geen IT-proces, maar biedt het het bedrijf direct beschikbare data-analyse waartoe de hele organisatie toegang heeft, niet alleen de datawetenschappers en ingenieurs.
Bovendien ondersteunt DataOps datagebruik als business enabler en stimuleert het de samenwerking tussen belanghebbenden. De organisatie kan daarom data-analyse gebruiken om producten en diensten te creëren die essentieel zijn voor concurrentiedifferentiatie.
Een DataOps-engineer wordt daarom de sleutelpositie in deze waardeketen. Deze persoon is verantwoordelijk voor het bouwen van de infrastructuur die wordt gebruikt voor de ontwikkeling en het onderhoud van gegevens. Hoewel het niet per se puur gegevenswerk is, ondersteunt de DataOps-engineer de andere gegevensrollen in het bedrijf om een mechanisme in te voeren dat consistent en flexibel is.
Zo ver terug als 2017 , werd het worden van een DataOps-engineer erkend als de meest sexy job in analytics. De auteur wist niet hoe profetisch die woorden in 2021 zouden zijn.
