Medaillon structuur implementeren in Fabric

Stel je voor dat je een puzzel van duizend stukjes koopt, maar de stukjes komen uit vijf verschillende dozen. De meeste passen bij elkaar, maar sommige stukjes zijn net iets te groot, andere hebben een iets andere kleur en een paar stukjes ontbreken gewoon. Je kunt wel een plaatje maken, maar of het klopt weet je niet zeker. Zo voelt het ook als je als organisatie probeert om inzichten te halen uit data die uit verschillende bronnen komt zonder dat er een goede structuur achter zit.

De medaillon-structuur lost dit op door data niet in één keer klaar te maken, maar het stap voor stap te verfijnen. Zoals een goudsmid die ruw erts omzet naar puur goud. Eerst verzamel je alles zoals het is, dan maak je het schoon en betrouwbaar, en pas in de laatste stap zet je het om naar iets wat de hele organisatie kan gebruiken. Het mooie is dat je altijd terug kunt naar het origineel, niets gaat verloren. In deze blog leggen we uit hoe die drie stappen werken, waarom steeds meer organisaties deze aanpak omarmen en hoe je er zelf mee aan de slag kunt in Microsoft Fabric.

Een medallion-structuur is een manier om gegevens in drie stappen steeds netter en bruikbaarder te maken: van ruwe, onbewerkte data (brons), naar opgeschoonde data (zilver), tot kant-en-klare data waar je direct mee aan de slag kunt (goud).

De drie lagen uitgelegd

Het idee is even elegant als eenvoudig:

• Brons (onbewerkt archief)
  Brons is de plek waar ruwe data als eerste binnenkomt, rechtstreeks vanuit de bronnen zoals een kassasysteem, een CRM of een personeelsapplicatie. Er wordt hier nog niets aangepast of opgeschoond, de data wordt bewaard precies zoals het uit het bronsysteem komt. Dat klinkt misschien onlogisch, maar het is juist heel waardevol. Als er later iets misgaat of als je wilt controleren waar een bepaald cijfer vandaan komt, kun je altijd terugkijken naar de originele ruwe data.
• Zilver (schoonmaken en ordenen)
  In Zilver wordt de ruwe data uit de bronslaag omgezet naar betrouwbare, consistente informatie. Datums die in verschillende formaten stonden worden gelijkgetrokken, dubbele records worden verwijderd en ontbrekende waarden worden aangevuld of geflagd. Vergelijk het met het wassen en sorteren van groenten voordat je gaat koken. Je werkt nog niet met het eindresultaat, maar alles is wel klaar voor gebruik. Zilver is de basis waarop je kunt vertrouwen.
• Goud (klaar voor gebruik)
  Goud is het eindresultaat: data die specifiek is ingericht voor rapportages, analyses en besluitvorming. Hier worden gegevens uit verschillende bronnen samengevoegd tot overzichten die direct bruikbaar zijn voor managers, analisten of dashboards in Power BI. De data in de goudlaag hoeft niet meer bewerkt te worden. Het is het goud waar de hele organisatie mee werkt. Alles wat hier staat is schoon, betrouwbaar en kant-en-klaar.

Het slimme zit hem dus in de scheiding tussen de lagen. Doordat ruwe data altijd bewaard blijft in de bronlaag, kun je bij een fout altijd terug. En doordat de goudlaag alleen gecheckte, samengevatte data bevat, weet iedereen die er een rapport op bouwt: dit klopt.

Een concreet voorbeeld: logistiek bedrijf met 3 bronnen

Stel je werkt bij een logistiek bedrijf wat 3 bronsystemen heeft. Een Medaillon structuur zou er dan als volgt uit kunnen zien:

• Brons (Ruwe data uit de drie systemen)
  Data Factory haalt elke nacht zendingsdata op uit het track-and-trace systeem, factuurdata uit het ERP en klantdata uit het CRM. Alles belandt onbewerkt in het Lakehouse inclusief de fouten, dubbele vermeldingen en wisselende datumnotaties.
• Zilver (Opschonen en standaardiseren)
  Een Dataflow corrigeert de datumnotaties, verwijdert dubbele zendingen en koppelt klanten aan de juiste facturen. Uniform, consistent en klaar voor gebruik. Fout in de brondata? De bronlaag staat er nog, niets is verloren.
• Goud (Bruikbare data in het Data Warehouse)
  Een Notebook berekent KPI’s: gemiddelde levertijd per regio, percentage op-tijd-leveringen, omzet per klant. Die cijfers landen in het Data Warehouse als nette, vaste tabellen.

Resultaat: het team hoeft niet meer elke week data handmatig samen te voegen. Fouten in rapporten zijn verleden tijd want de goudlaag bevat alleen gecheckte data. En bij een incident of discrepantie is de ruwe brondata altijd beschikbaar om terug te zoeken waar het misging.

Welke tools worden er gebruikt?

We laten hier per laag zien welke tools er worden gebruikt en leggen uit waarom.

• Brons -> Data Factory en Lakehouse
  Data Factory haalt de ruwe data op uit alle bronnen en transporteert het automatisch naar de bronslaag. Het Lakehouse is de ideale opslagplek voor deze laag omdat het grote hoeveelheden onbewerkte data kan bewaren in hun originele vorm, zonder dat je eerst een vaste structuur hoeft te definiëren. Samen zorgen ze ervoor dat alle ruwe data veilig wordt opgeslagen zonder dat er iets verloren gaat.
• Zilver -> Data Factory en Lakehouse
  In de zilverlaag gebruikt Data Factory dataflows om de ruwe data uit de bronslaag op te schonen, te standaardiseren en samen te voegen. Het Lakehouse blijft ook in deze laag de opslagplek, maar nu voor de schoongemaakte en geordende versie van de data. De combinatie maakt het mogelijk om de transformaties automatisch en herhaalbaar uit te voeren, zodat de zilverlaag altijd up-to-date is.
• Goud -> Data Warehouse en Power BI
  In de goudlaag neemt het Data Warehouse het stokje over van het Lakehouse, omdat de data hier gestructureerd en geoptimaliseerd moet zijn voor snelle analyses en rapportages. Data Factory stuurt de schoongemaakte data vanuit de zilverlaag door naar het Data Warehouse, waar het wordt ingericht als kant-en-klare tabellen. Power BI verbindt direct met het Data Warehouse en presenteert de data als dashboards en rapporten die de hele organisatie kan gebruiken.

De medaillonstructuur is geen uitvinding van Microsoft. Het is een best practice die in alle omgevingen wordt toegepast. Fabric ondersteunt de medaillonstructuur wel op een natuurlijke manier.

Het grootste voordeel van Fabric is dat alle lagen van de medaillonstructuur op dezelfde onderliggende opslag draaien: OneLake. Data hoeft niet verplaatst of gekopieerd te worden van brons naar zilver naar goud. Het blijft op dezelfde plek staan en elke laag is gewoon een andere weergave van diezelfde data. Dat bespaart opslagruimte, voorkomt fouten en maakt het geheel een stuk eenvoudiger te beheren.

Is dit iets voor jou?

De medaillonstructuur implementeren zou je kunnen overwegen aan de hand van de volgende argumenten:

• Je kunt altijd terug naar de bron
  Omdat de ruwe data ongewijzigd bewaard blijft in de bronslaag, kun je altijd terugvallen op het origineel. Maak je later een fout in de bewerking, of wil je de data op een andere manier gebruiken? Dan begin je gewoon opnieuw vanaf de ruwe gegevens, zonder iets kwijt te zijn.
• Meer vertrouwen in de cijfers
  Doordat de data in duidelijke stappen wordt opgeschoond en gecontroleerd, weet iedereen in de organisatie dat de uiteindelijke rapporten kloppen. Je werkt niet met een rommelige verzameling gegevens, maar met een nette, betrouwbare bron waar iedereen op kan bouwen.
• Overzicht en rust in je gegevens
  De heldere indeling in drie lagen maakt voor iedereen duidelijk waar je in het proces zit: ruwe data, opgeschoonde data of kant-en-klare data. Dat voorkomt verwarring, maakt het makkelijker om problemen op te sporen en zorgt dat nieuwe collega’s snel begrijpen hoe alles in elkaar zit.
• Klaar voor groei
  De structuur is flexibel en schaalbaar. Komt er een nieuwe databron bij of wil je extra rapportages maken? Dan past dat eenvoudig binnen dezelfde opzet, zonder dat je alles opnieuw hoeft in te richten. Je bouwt dus aan een fundament dat met je organisatie meegroeit.

Begin klein: één databron, drie lagen, één rapport. Je zult snel merken dat de kwaliteit van je data omhoog gaat én dat vragen over ‘welke versie klopt?’ vanzelf verdwijnen. Vanaf die basis kun je uitbreiden, stap voor stap, in jouw eigen tempo.