Wat is een datawarehouse, hoe werkt het en wanneer heb je het nodig?

Organisaties gebruiken steeds meer systemen waarin gegevens worden vastgelegd. Klantinformatie staat in een CRM-systeem, financiële cijfers in de boekhouding en operationele gegevens in een ERP-systeem. Wie deze informatie wil combineren, loopt al snel tegen verschillen in definities, datastructuren en actualiteit aan. Een datawarehouse helpt om die versnippering te doorbreken. Maar wat is een datawarehouse precies, hoe werkt het en wanneer heeft een organisatie er daadwerkelijk een nodig?

Wat is een datawarehouse?

Een datawarehouse is een centrale omgeving waarin data uit meerdere bronnen worden samengebracht in één gecentraliseerd systeem, gestructureerd en beschikbaar gemaakt voor rapporten en analyses. Het doel is om organisaties een samenhangend en betrouwbaar beeld te geven van hun prestaties en ontwikkelingen.

Anders dan operationele databases, die vooral dagelijkse bewerkingen ondersteunen, is een datawarehouse ingericht voor het analyseren van grote hoeveelheden gestructureerde data. Daarbij kan ook historische data worden bewaard, zodat ontwikkelingen over langere perioden zichtbaar worden.

Een datawarehouse vormt daarmee een belangrijke basis voor Business Intelligence (BI), dashboards en data analyses, en helpt organisaties bij betere beslissingen en meer geïnformeerde beslissingen.

Het verzamelen, verwerken en beschikbaar stellen van deze gegevens wordt ook wel datawarehousing genoemd. Dat omvat niet alleen de technologie, maar ook de inrichting van datastromen, datamodellen en afspraken over datakwaliteit.

Hoe werkt een datawarehouse?

Een datawarehouse brengt gegevens uit verschillende systemen samen in een omgeving die geschikt is voor analyse. Een typisch datawarehouse bestaat uit drie lagen voor het verzamelen, verwerken en beschikbaar maken van gegevens. Dat proces bestaat doorgaans uit verschillende onderdelen.

1. Gegevens verzamelen uit databronnen

Een datawarehouse is een centrale omgeving die data uit verschillende systemen combineert en opslaat, omdat het informatie uit meerdere bronnen verzamelt voor analyse en rapportage. De data kan afkomstig zijn uit ERP- en CRM-systemen, financiële applicaties, databases, spreadsheets, API’s en externe bronnen. Ook minder traditionele bronnen, zoals sociale media, kunnen daarin worden meegenomen. Deze systemen gebruiken vaak verschillende structuren en definities.

2. Data integreren en transformeren

Voordat gegevens gezamenlijk kunnen worden geanalyseerd, moeten ze waar nodig worden opgeschoond, gestandaardiseerd en gecombineerd. Denk aan het verwijderen van dubbele records, het harmoniseren van klantgegevens en het vastleggen van uniforme definities. ETL-processen verbeteren daarbij de snelheid van data-analyse, omdat gegevens vooraf al zijn opgeschoond en gestandaardiseerd.

3. Gegevens opslaan en modelleren

De verwerkte data wordt opgeslagen in tabellen en datamodellen die geschikt zijn voor rapportages en analyses. Daarbij kunnen historische gegevens worden behouden om veranderingen door de tijd te volgen.

4. Data beschikbaar maken voor gebruikers

BI-tools zoals Qlik Sense, Microsoft Power BI en Tableau kunnen gegevens uit het datawarehouse gebruiken voor dashboards, rapportages en interactieve analyses.

De waarde ontstaat wanneer medewerkers en leidinggevenden deze informatie benutten om prestaties te beoordelen, verbanden te onderzoeken en beslissingen beter te onderbouwen.

ETL en ELT: hoe komt data in een datawarehouse?

Bij datawarehousing spelen ETL en ELT een belangrijke rol. Beide methoden beschrijven hoe gegevens uit bronsystemen worden verwerkt.

ETL staat voor Extract, Transform, Load. Eerst worden gegevens opgehaald, vervolgens getransformeerd en daarna geladen in het datawarehouse. Deze aanpak wordt veel gebruikt wanneer data vooraf moet worden opgeschoond of gestandaardiseerd.

ELT staat voor Extract, Load, Transform. Hierbij worden ruwe gegevens eerst geladen in de doelomgeving en vervolgens daar getransformeerd. Moderne clouddatawarehouses beschikken vaak over voldoende rekenkracht om deze bewerkingen binnen het platform uit te voeren.

Welke aanpak geschikt is, hangt af van de architectuur, databronnen, verwerkingsvereisten en beschikbare technologie. ETL en ELT kunnen bovendien naast elkaar worden gebruikt.

In beide gevallen blijft datakwaliteit essentieel. Een technisch geslaagde dataverwerking betekent niet automatisch dat de informatie inhoudelijk juist of bruikbaar is. Afhankelijk van de architectuur kunnen moderne omgevingen ook actuele data uit operationele bronnen benutten.

Hoe wordt data in een datawarehouse gestructureerd?

Een datawarehouse vraagt om een doordacht datamodel dat verschillende eisen van gebruikers ondersteunt. Dat bepaalt hoe gegevens worden opgeslagen, gekoppeld en beschikbaar gemaakt voor analyses.

Veelgebruikte begrippen zijn:

• Feitentabellen: bevatten meetbare gebeurtenissen of prestaties, zoals verkopen, transacties of productieaantallen.
• Dimensietabellen: beschrijven de context van die gegevens, bijvoorbeeld klanten, producten, locaties en tijd.
• Sterschema: een datamodel waarin een centrale feitentabel is gekoppeld aan verschillende dimensietabellen.
• Data marts: afgebakende verzamelingen gegevens die zijn ingericht voor een specifiek bedrijfsdomein, zoals finance, sales of HR.

Een goed datamodel maakt analyses begrijpelijker en helpt om consistente KPI’s en rapportages te ontwikkelen.

Ook de historie vraagt aandacht. Wanneer bijvoorbeeld een klant van regio verandert, moet worden bepaald of eerdere verkopen aan de oorspronkelijke of de nieuwe regio worden toegerekend. Zulke keuzes beïnvloeden de betrouwbaarheid van historische analyses. Een goed model ondersteunt daarbij ook verschillende behoeften, van analyses op hoofdlijnen tot detailniveau.

Datawarehouse, database, data lake en dataplatform: wat is het verschil?

Deze begrippen worden regelmatig door elkaar gebruikt, maar in een datawarehouse vs data lake-vergelijking hebben ze verschillende functies.

Steeds vaker combineren organisaties verschillende technologieën. Een data lake is bijvoorbeeld geschikt als goedkope opslag voor grote hoeveelheden data uit mobiele apps en sociale media. De architectuur hangt af van de soorten data, de gewenste analyses, beveiliging, prestaties en kosten.

Traditioneel datawarehouse of clouddatawarehouse?

Traditionele datawarehouses draaien vaak op eigen infrastructuur of binnen een beheerde IT-omgeving, zoals bij on premises datawarehouses. Organisaties zijn daarbij in meer of mindere mate zelf verantwoordelijk voor capaciteit, onderhoud en technische inrichting.

Een clouddatawarehouse gebruikt de cloud om data uit verschillende bronnen op te nemen en op te slaan. Bekende voorbeelden zijn Snowflake, Google BigQuery, Amazon Redshift en Microsoft Fabric Warehouse.

Cloudoplossingen bieden mogelijkheden om opslag en rekenkracht flexibel te gebruiken. Ook kunnen organisaties profiteren van beheerde infrastructuur, waardoor zij minder eigen hardware hoeven op te bouwen en te beheren, en van integraties met andere clouddiensten.

Dat betekent niet dat een clouddatawarehouse automatisch goedkoper of eenvoudiger is. Kosten kunnen oplopen door intensief gebruik van rekenkracht, opslag en dataverkeer. Ook beveiliging, toegangsbeheer, datalocatie en afhankelijkheid van leveranciers vragen aandacht, al kan capaciteit wel eenvoudig meegroeien als het bedrijf groeit.

De keuze tussen on-premises, cloud en hybride datawarehousing moet daarom aansluiten bij de technische én organisatorische behoeften, en bij de afweging tussen controle, beheerlast en schaalbaarheid.

Snowflake als modern datawarehouse

Snowflake is een cloudgebaseerd dataplatform en modern data warehouse dat onder meer wordt gebruikt voor datawarehousing, data-engineering en een breed scala aan analytics-workloads.

Een belangrijk kenmerk is de scheiding tussen opslag en rekenkracht. Daardoor kunnen verschillende workloads gebruikmaken van afzonderlijke compute-resources, zonder dat gegevens telkens naar een andere opslagomgeving hoeven te worden gekopieerd.

Zakelijke gebruikers kunnen daardoor naast IT-teams steeds vaker directer met data werken.

Een organisatie kan Snowflake bijvoorbeeld inzetten om financiële, commerciële en operationele gegevens centraal beschikbaar te maken. BI-tools zoals Qlik Sense kunnen vervolgens verbinding maken met Snowflake om dashboards en analyses te ontwikkelen, waarbij Qlik-gebruikers via ondersteuning en kennissessies van HNQx meer waarde uit hun analyses kunnen halen.

Snowflake vervangt daarbij niet automatisch alle onderdelen van een data-architectuur. Als modern platform biedt bedrijven meer mogelijkheden om waarde uit data te halen, mede doordat moderne oplossingen ook functies rond machine learning ondersteunen, maar voor het ontsluiten van databronnen, integreren van gegevens, bewaken van datakwaliteit en beheren van definities blijven aanvullende processen en voorzieningen nodig.

Meer hierover lees je in het kennisbankartikel Wat is Snowflake?.

Waarom is datakwaliteit zo belangrijk?

Een datawarehouse wordt regelmatig omschreven als één centrale bron van waarheid, ook wel een single source of truth. Maar het samenbrengen van gegevens maakt ze niet vanzelf betrouwbaar.

Stel dat verschillende afdelingen een klant anders definiëren. De ene afdeling telt iedere geregistreerde relatie, terwijl een andere alleen actieve klanten meetelt. Beide definities kunnen zinvol zijn, maar leiden tot verschillende uitkomsten.

Een datawarehouse vraagt daarom om afspraken over datadefinities, eigenaarschap, actualiteit en kwaliteitscontroles.

Hier raakt datawarehousing aan data governance: het geheel van verantwoordelijkheden, processen en afspraken waarmee een organisatie haar data beheert.

Ook data lineage is relevant. Daarmee wordt inzichtelijk waar gegevens vandaan komen, welke bewerkingen ze hebben ondergaan en hoe ze uiteindelijk in een rapportage terechtkomen.

Zonder die transparantie kan een centraal datawarehouse juist nieuwe discussies over cijfers veroorzaken.

Wat levert een datawarehouse op voor Business Intelligence?

Een goed ingericht datawarehouse fungeert als stevig fundament voor Business Intelligence en kan de kwaliteit en beschikbaarheid van managementinformatie aanzienlijk verbeteren.

In plaats van gegevens telkens handmatig uit verschillende systemen te verzamelen, kunnen organisaties data uit verschillende bedrijfsprocessen samenbrengen in gestandaardiseerde en herbruikbare datasets voor rapporten en ondersteunen dashboards, bijvoorbeeld met een brancheoplossing zoals het HippoLine Insurance Platform voor de assurantiebranche.

Dat biedt verschillende voordelen:

• Consistente rapportages: afdelingen gebruiken dezelfde definities en berekeningen.
• Historisch inzicht: ontwikkelingen kunnen over langere perioden worden geanalyseerd.
• Minder handmatig werk: terugkerende dataverwerking en rapportages kunnen worden geautomatiseerd.
• Betere analysemogelijkheden: gegevens uit verschillende bedrijfsprocessen kunnen gezamenlijk worden onderzocht, zodat zakelijke gebruikers sneller onderbouwde analyses kunnen uitvoeren.
• Minder belasting van bronsystemen: analytische workloads kunnen worden gescheiden van operationele transactieverwerking.

Een datawarehouse kan daarmee een centrale rol vervullen binnen BI en datawarehouse fungeert zo als basis voor informatievoorziening in de organisatie.

Toch blijft het belangrijk om onderscheid te maken tussen beschikbare informatie en daadwerkelijke besluitvorming. Een betrouwbaar dashboard helpt om ontwikkelingen te begrijpen, ondersteunt uiteindelijk ook betere beslissingen, maar bepaalt niet welke beslissing een organisatie moet nemen.

Datawarehousing in de praktijk: Stichting Halt

Stichting Halt werkt jaarlijks met duizenden jongeren en honderden gemeenten en ketenpartners. De organisatie beschikte over veel gegevens, maar die waren verspreid over verschillende systemen. Om informatie beter te benutten, realiseerde Halt samen met HippoLine een centraal datawarehouse.

Binnen het Data Intelligence Platform van HippoLine worden technologieën als Snowflake, Qlik Cloud en Mail&Deploy ingezet. Gegevens uit verschillende bronnen komen samen en worden beschikbaar gemaakt voor rapportages, analyses en verantwoording.

Het resultaat is zichtbaar in de dagelijkse praktijk. Regiomanagers volgen de instroom en doorlooptijden en kunnen hun capaciteit daarop aanpassen. Medewerkers gebruiken inzichten om interventies beter af te stemmen op jongeren. Gemeenten ontvangen actuele informatie over de uitvoering van het werk.

Het datawarehouse ondersteunt daarmee niet alleen de bedrijfsvoering, maar ook de maatschappelijke opdracht van Halt: jongeren beter helpen.

Lees het volledige klantverhaal van Stichting Halt.

Wanneer heeft een organisatie een datawarehouse nodig?

Niet iedere organisatie heeft een afzonderlijk datawarehouse nodig. Wanneer gegevens uit één systeem komen en de bestaande rapportages voldoen, kan een extra datalaag onnodige complexiteit toevoegen.

Een datawarehouse wordt vooral interessant wanneer meerdere systemen moeten worden gecombineerd, definities uiteenlopen of historische analyses steeds belangrijker worden. Dan ontstaat ook de afweging tussen een bestaand platform uitbreiden en een nieuw datawarehouse realiseren.

Ook wanneer rapportages veel handmatig werk vragen, verschillende afdelingen tegenstrijdige cijfers presenteren of operationele systemen zwaar worden belast door analyses, kan een datawarehouse waarde toevoegen. Die keuze hangt ook af van verschillende systemen, softwarekeuzes en ontwikkelkosten.

De belangrijkste vraag is daarom niet welke technologie moet worden aangeschaft, maar welke informatie de organisatie nodig heeft en waarom de huidige inrichting daarin tekortschiet.

Pas daarna komt de keuze voor een datawarehouse, data lakehouse of een andere architectuur.

Hoe begin je met datawarehousing?

Een succesvolle aanpak begint bij een concrete informatiebehoefte. Een datawarehouse opzetten is daarbij een complexe taak, met keuzes in modellering, prestaties en beheer. Welke managementvragen kunnen nu onvoldoende worden beantwoord? Welke databronnen zijn daarvoor nodig? En welke problemen bestaan er met de betrouwbaarheid van de gegevens?

Vervolgens kan de organisatie een beperkte toepassing ontwikkelen, bijvoorbeeld een geïntegreerd overzicht van omzet, kosten en marges.

Daarbij worden niet alleen de techniek en datamodellen getest, maar ook de definities, actualiteit en bruikbaarheid van de informatie. In de praktijk sluiten organisaties daarbij vaak data uit verschillende bronnen en grote hoeveelheden data gefaseerd aan.

Vanuit zo’n eerste toepassing kan de data-architectuur stapsgewijs worden uitgebreid. Dat voorkomt dat een omvangrijk technisch project ontstaat zonder duidelijk zicht op de toegevoegde waarde.

Het uiteindelijke doel van datawarehousing is immers niet het verzamelen van zoveel mogelijk gegevens, maar het beschikbaar maken van betrouwbare informatie waarmee een organisatie daadwerkelijk verder kan, waarbij teams binnen de organisatie verschillende behoeften kunnen hebben en een stapsgewijze aanpak daarom vaak beter werkt.

Veelgestelde vragen over datawarehouses

Disclaimer

Dit artikel biedt algemene informatie over datawarehousing en datawarehouse-technologie. De beschreven architecturen, platforms en werkwijzen zijn illustratief. Welke oplossing geschikt is, hangt af van de informatiebehoefte, bestaande IT-omgeving, databronnen en doelstellingen van een organisatie. De genoemde technologieën en mogelijkheden vormen geen garantie voor specifieke prestaties, kostenbesparingen of bedrijfsresultaten.