Zowel Datawarehouse Automation (DWA) als Model Driven Data Engineering (MDDE) zijn manieren om sneller een datawarehouse of dataplatform te ontwikkelen. Bij beide maak je gebruik van automation en het genereren van code vanuit modellen en patronen. Echter, de manier waarop ze dit doen en de flexibiliteit die ze bieden verschillen aanzienlijk. We leggen de verschillen en de voor- en nadelen uit!
Technologie specifiek versus technologie onafhankelijk
Het grote verschil is dat veel DWA oplossingen voor een specifieke situatie werken. Zo zijn er oplossingen die alleen een Data Vault kunnen genereren of oplossingen die alleen werken op bepaalde databases, zoals Microsoft SQL Server of Snowflake. De DWA oplossing bepaalt dus in grote mate de mogelijkheden in het eindproduct. Bij MDDE ligt de nadruk meer op het zoveel mogelijk modelleren van de functionaliteit en het kunnen genereren naar elke gewenste doeltechnologie en architectuur. In veel DWA oplossingen wordt technologie specifiek (fysiek) gemodelleerd en bij MDDE wordt juist technologie onafhankelijk (logisch) gemodelleerd. Doordat er een betere ontkoppeling is tussen model en implementatie kun je met een MDDE aanpak doorgaans eenvoudiger veranderen van technologie. Bij DWA zit je als het ware opgesloten in de technologie die door de DWA oplossing wordt ondersteund, en je model is net zo lang houdbaar als de DWA oplossing.
Wel of geen integratie in het eindproduct
Een ander verschil is hoe deze benaderingen hun oplossing integreren in de eindproducten. DWA oplossingen worden vaak een integraal onderdeel van het eindproduct. Een voordeel hiervan is dat een DWA oplossing functionaliteit biedt die niet meer zelf ontwikkeld hoeft te worden, zoals scheduling en monitoring van de dataflows. Daar tegenover staat dat je niet zomaar van het DWA product kunt afstappen, omdat het dataplatform hiervan afhankelijk is. Een MDDE oplossing vormt geen onderdeel van het eindproduct en draait dus niet in de productieomgeving van het dataplatform. Dit betekent dat je kunt stoppen met de MDDE oplossing en makkelijk kunt overstappen op een andere werkwijze, zonder dat de productieomgeving daar direct onder lijdt.
Zo zet je voordelen van DWA en MDDE in
DWA oplossingen werken onder andere goed voor greenfield situaties waar nog niks gebouwd is. Je kunt dan maximaal gebruik maken van alles wat de DWA oplossing biedt en daarmee ben je sneller klaar. Dit vereist wel dat de DWA oplossing een goede fit is voor een organisatie en bijvoorbeeld voldoet aan eisen vanuit architectuur. Vaak wordt het al lastiger als er een bestaande datawarehouse-omgeving is waarin de DWA oplossing ingepast moet worden. Sluit de DWA oplossing qua technologie en architectuur aan op wat er binnen de organisatie wordt gebruikt? Moet alle bestaande functionaliteit omgezet worden in de nieuwe DWA oplossing of is een hybride situatie mogelijk? Een aanpak gebaseerd op MDDE leent zich doorgaans beter om in te zetten in een bestaande omgeving. Met MDDE is er veel meer vrijheid om de architectuur vorm te geven en de gewenste techniek in te zetten. Hierdoor kun je deze aanpak beter afstemmen op de specifieke situatie binnen een organisatie. Ook leent MDDE zich beter voor een ‘best of breed’ opzet, omdat je voor specifieke onderwerpen, zoals scheduling en ETL, afzonderlijke tools kunt inzetten.
Zowel een DWA oplossing als een MDDE aanpak zorgen voor versnelling en kwaliteitsverhoging bij de ontwikkeling van een datawarehouse of dataplatform. Een DWA oplossing biedt meer functionaliteit ‘out of the box’, maar een aanpak gebaseerd op MDDE biedt meer flexibiliteit om aan te sluiten op de specifieke wensen van een organisatie en is meer toekomstbestendig.
Wil jij weten wat MDDE voor jouw organisatie kan betekenen? Neem contact met ons op, dan vertellen we je er meer over!