Veel organisaties werken al jaren met een datawarehouse of dataplatform dat ze zelf (laten) ontwikkelen. Aan het begin loopt dit goed, maar in de loop der tijd wordt het systeem steeds groter. Er worden nieuwe gegevensbronnen aangesloten, een bronsysteem wordt vervangen en/of de onderliggende structuur wordt aangepast. De hoeveelheid code wordt steeds groter, waardoor de overzichtelijkheid afneemt. Het gevolg: wijzigingen doorvoeren wordt steeds lastiger en ook het integreren van gegevens om rapportages en analyses te maken wordt moeilijker. Gelukkig kan het ook makkelijker! Wij vertellen je hoe je dat doet.

Op ontdekkingsreis in je dataplatform

Wat we hierboven schetsen, noemen we ook wel het spaghetti-effect: door veel veranderingen wordt alles steeds onoverzichtelijker en daardoor wordt het moeilijker om wijzigingen door te voeren. Stel dat een systeem wat nationale bankrekeningnummers aanlevert, wordt vervangen door een nieuw systeem dat werkt op basis van IBAN. Welke onderdelen van het dataplatform worden hierdoor geraakt? Worden er andere systemen gekoppeld op basis van bankrekeningnummer? Welke rapportages of dashboards dienen er aangepast te worden? Welke verwerkingsprocessen krijgen last van een verandering van datatype? Een dergelijke aanpassing wordt een ontdekkingsreis door de bestaande implementatie. Zeker als door verloop van personeel de kennis van de implementatie niet meer overal aanwezig is.

De bouwtekening van je dataplatform

Wat organisaties vaak missen, is een ‘bouwtekening’ van het dataplatform. We vergelijken het ook wel met de bouwtekening van je huis. Als je een huis wilt verbouwen en je hebt de tekeningen niet meer, dan weet je bijvoorbeeld niet precies meer waar leidingen zitten. Dus wat ga je dan doen? Je legt dan nog maar een leiding of je trekt de vloer open zonder te weten wat eronder zit. Met software bouwen gebeurt vaak hetzelfde. Ontwikkelaars blijven doorbouwen, maar de ‘tekening’ wordt niet onderhouden en aangevuld of aangepast. Er is daardoor geen actuele en betrouwbare bouwtekening van het dataplatform. Wanneer je het dataplatform gaat aanpassen, is het moeilijk om te bepalen wat de impact van de aanpassing is. Je hebt geen overzicht meer en er kan zomaar iets omvallen als je iets verandert. Om te voorkomen dat er iets omvalt, wordt er vaak een nieuw stuk bovenop de bestaande oplossing gebouwd. Hierdoor neemt de complexiteit toe en wordt de ontdekkingsreis voor toekomstige wijzigingen nog groter.

Maak het ontwerp leidend

Wat we hierboven beschrijven kost veel tijd en energie. Het kan makkelijker en wat je daarvoor nodig hebt is dus een actuele bouwtekening van je dataplatform. Wij noemen dat in dit geval een ‘model’ waarin de tekening van het platform vastligt. Dit technologie-onafhankelijke model wordt gebruikt om de software te genereren en is daarom altijd actueel. In dit ontwerp kun je analyses doen, waardoor je weet welke invloed een aanpassing heeft. Op deze manier kun je snel en effectief integreren, zonder dat er iets omvalt.

We noemen deze werkwijze Model Driven Data Engineering. Wil je hier meer over weten? Lees dan eens onze blogs over Model Driven Data Engineering en onze werkwijze. Of neem vrijblijvend contact met ons op. We vertellen je er graag meer over!