Wat is Big Data: wat is het en wanneer heb je ermee te maken?

Wat is big data? Big data verwijst naar omvangrijke of complexe datasets die niet efficiënt met traditionele, centrale gegevensverwerking kunnen worden opgeslagen en geanalyseerd, en waarvoor een schaalbare data-architectuur nodig is door de hoeveelheid, snelheid, verscheidenheid of veranderlijkheid van de data. Organisaties verzamelen steeds meer gegevens uit transacties, machines, websites, mobiele apps en digitale communicatie. Bij zeer grote, snel veranderende of sterk uiteenlopende datasets kunnen traditionele methoden voor opslag en verwerking tekortschieten. Dan kan sprake zijn van big data.

Big data verwijst dus niet simpelweg naar veel gegevens. Doorslaggevend is of de data een andere technische aanpak noodzakelijk maakt. Een organisatie met enkele slecht gekoppelde systemen heeft daarom niet automatisch een big-datavraagstuk. Mogelijk is er vooral behoefte aan betere data-integratie, datakwaliteit of Business Intelligence. Voor organisaties en professionals die met grote of complexe datasets werken, helpt dit artikel om dat onderscheid scherp te maken. Je leest wat big data precies is, welke kenmerken daarbij horen, waar het in de praktijk wordt toegepast, welke technologieën en governance-vraagstukken een rol spelen, hoe het zich verhoudt tot andere dataproblemen en hoe het aansluit op AI en Business Intelligence. Dat is relevant, omdat een verkeerde inschatting snel leidt tot onnodige kosten, terwijl een juiste aanpak nodig is om waardevolle inzichten uit groeiende databronnen te halen.

Wat is big data?

Big data bestaat uit omvangrijke of complexe datasets die niet efficiënt met een traditionele, centraal opgezette gegevensverwerking kunnen worden opgeslagen en geanalyseerd. Voor de verwerking van zulke grote hoeveelheden data is een schaalbare data-architectuur nodig.

Deze definitie kent geen vaste ondergrens in gigabytes of terabytes. Een dataset die binnen de ene technische omgeving probleemloos kan worden verwerkt, kan in een andere omgeving wel tot knelpunten leiden.

Big data is daarom een relatief begrip. Het gaat om de verhouding tussen de kenmerken van de data, het doel van de verwerking en de capaciteit van de beschikbare technologie. Ook het Amerikaanse standaardisatie-instituut NIST koppelt big data aan omvangrijke datasets die door hun volume, verscheidenheid, snelheid of veranderlijkheid een schaalbare architectuur vereisen.

Wanneer wordt data ‘big’ en spreken we van complexe datasets?

Data wordt niet automatisch big data doordat een bestand groot is of een rapportage langzaam wordt. Van een big-datavraagstuk is vooral sprake wanneer de bestaande architectuur de gegevens niet binnen de benodigde tijd of tegen aanvaardbare kosten kan verwerken.

Dat kan bijvoorbeeld gebeuren als:

• continu grote aantallen transacties of metingen binnenkomen;
• datasets sneller groeien dan de bestaande infrastructuur aankan;
• gegevens uit vele verschillende bronnen en bestandsvormen komen, dus uit verschillende bronnen komen;
• verwerking over meerdere servers of rekenomgevingen moet worden verdeeld;
• analyses vrijwel direct na binnenkomst van de data nodig zijn;
• grote hoeveelheden gestructureerde, semi-gestructureerde en ongestructureeerde data gezamenlijk moeten worden onderzocht.

Organisaties moeten in toenemende mate ook nieuwe en lastig te ontsluiten gegevensbronnen kunnen aansluiten.

Niet de omvang van de organisatie is bepalend. Ook een relatief kleine onderneming kan met big data werken, bijvoorbeeld wanneer grote hoeveelheden sensordata of online gebeurtenissen worden verwerkt.

Wat zijn de vijf V’s van big data?

De belangrijke kenmerken van big data worden vaak beschreven aan de hand van de vijf V’s: Volume, Velocity, Variety, Veracity en Value.

1. Volume

Volume verwijst naar de hoeveelheid data. Het kan gaan om miljoenen financiële transacties, grote verzamelingen documenten, camerabeelden of metingen van sensoren.

Niet iedere grote dataset vraagt meteen om big-datatechnologie. Dat gebeurt pas wanneer de omvang de bestaande opslag of verwerking structureel te zwaar, langzaam of kostbaar maakt.

2. Velocity

Velocity is de snelheid waarmee gegevens worden geproduceerd, ontvangen en verwerkt. Denk aan betaaltransacties, klikgedrag, voertuiggegevens of metingen van machines die voortdurend binnenkomen.

Soms is verwerking achteraf voldoende. In andere situaties moet een organisatie vrijwel realtime kunnen reageren, bijvoorbeeld bij fraude, storingen of veiligheidsrisico’s.

3. Variety

Variety verwijst naar de verschillende vormen waarin data beschikbaar is.

Gestructureerde data is meestal ondergebracht in tabellen met vaste velden, georganiseerd in rijen en kolommen, zoals klantnummers, bedragen en datums. Semi-gestructureerde data heeft geen vaste tabelstructuur, maar bevat wel herkenbare elementen of metadata. Voorbeelden zijn JSON-bestanden en e-mails.

Ongestructureerde gegevens hebben geen vooraf vastgelegde indeling. Denk aan documenten, afbeeldingen, video, geluidsbestanden en berichten op sociale media. Ook mobiele apps en apparaten die via het Internet of Things gegevens uitwisselen, kunnen uiteenlopende datastromen produceren.

Deze verschillende bronnen combineren en analyseren vraagt vaak om aanvullende technologie en databeheer. Juist bij diverse datasets wordt de betekenis ervan pas met goede analyse duidelijk.

4. Veracity

Veracity gaat over de betrouwbaarheid van de data. Zijn gegevens volledig, correct en actueel? Worden begrippen in verschillende bronnen op dezelfde manier gebruikt?

Bij grote en gevarieerde datasets wordt het moeilijker om de kwaliteit handmatig te controleren. Meer data leidt daardoor niet automatisch tot betere inzichten.

5. Value

Value staat voor de waarde die een organisatie met de gegevens wil realiseren. Data verzamelen en opslaan is geen doel op zichzelf. Vooraf moet duidelijk zijn welk bedrijfsprobleem wordt onderzocht en welke beslissingen de analyse moet ondersteunen, zodat analyse kan leiden tot waardevolle informatie en zinvolle inzichten.

Volume, snelheid en verscheidenheid maken een dataset complex. Betrouwbaarheid en waarde bepalen of het zinvol is om die complexiteit te beheersen.

Niet ieder dataprobleem is een big-dataprobleem

Een maandrapportage die handmatig uit verschillende systemen en Excel-bestanden wordt samengesteld, kan veel tijd kosten. Toch is dat meestal geen big data. Waarschijnlijk ontbreken goede koppelingen, uniforme definities of een gezamenlijke rapportageomgeving.

Hetzelfde geldt wanneer verschillende afdelingen andere versies van klant- of productgegevens gebruiken. Dat wijst eerder op een probleem met datakwaliteit, masterdata of data governance.

Ook een vastlopend Excel-bestand is geen bewijs van big data. Het bestand kan onhandig zijn opgebouwd of simpelweg niet het juiste hulpmiddel zijn voor de gewenste analyse.

Dit onderscheid is belangrijk. Wie een integratie- of kwaliteitsprobleem ten onrechte als big data behandelt, kan kiezen voor onnodig zware en kostbare technologie. Begin daarom altijd met de vraag wat precies niet meer werkt en waardoor dat wordt veroorzaakt.

Welke voorbeelden zijn er van big data?

Big data toepassingen komen tegenwoordig in vrijwel elke sector voor; big data speelt daarmee een rol in uiteenlopende werkvelden en heeft de afgelopen jaren vrijwel elke sector ingrijpend veranderd.

Webwinkels kunnen grote hoeveelheden zoekopdrachten, aankopen en klikgedrag analyseren om klantgedrag en de vraag naar producten beter te voorspellen. In retail leidt dat onder meer tot gepersonaliseerde aanbevelingen, beter voorraadbeheer en het ontwikkelen van nieuwe producten. Banken en verzekeraars onderzoeken financiële transacties om afwijkingen en mogelijke fraude te signaleren.

In de industrie produceren machines en sensoren voortdurend gegevens over temperatuur, trillingen en prestaties. Met deze data kunnen organisaties onderhoud beter plannen en storingen eerder herkennen.

Ook de gezondheidszorg, wetenschap, mobiliteit en energievoorziening kunnen grote en snel veranderende datasets opleveren. Denk aan medische beelden, onderzoeksdata, verkeersstromen, slimme meters en gegevens van windturbines. De overheid gebruikt zulke analyses ook voor stadsplanning en verkeersmanagement.

Binnen supply chains kunnen gegevens over voorraden, leveringen en transportbewegingen worden gecombineerd om vertragingen te herkennen en processen efficiënter in te richten, zeker wanneer deze data via één geïntegreerd Data Intelligence platform beschikbaar komt voor analyse en sturing.

Sectoren gebruiken deze data om te voorspellen, te optimaliseren, te automatiseren en te personaliseren. Niet ieder voorbeeld gebruikt alle vijf V’s in dezelfde mate. Soms is vooral het volume groot, terwijl in een andere situatie juist snelheid of verscheidenheid het technische vraagstuk veroorzaakt.

Welke technologie wordt gebruikt voor big data?

Big-data-architecturen zijn ontworpen om opslag en verwerking over verschillende systemen te verdelen. Daardoor kan de capaciteit meegroeien wanneer het datavolume toeneemt en er voor groeiende datasets extra opslag nodig is.

Afhankelijk van het gebruiksdoel kunnen organisaties gebruikmaken van verschillende big data technologieën:

• gedistribueerde opslag en verwerking;
• schaalbare cloudplatforms;
• data lakes, datawarehouses en lakehouses als schaalbare opslagsystemen;
• streamingtechnologie voor continu binnenkomende data;
• relationele en niet-relationele databases;
• analyse- en visualisatieplatforms.

Bekende technologieën voor de verwerking van grote datasets zijn Apache Hadoop en Apache Spark. Apache Hadoop werd in 2005 ontwikkeld voor big data analyse en maakt gedistribueerde opslag en verwerking mogelijk. Spark wordt onder meer gebruikt voor snelle batchverwerking, streaming data, machine learning en big data analytics. Omdat de markt snel verandert, houden organisaties ook rekening met nieuwe technologieën en passende big data oplossingen.

Een data lake is niet automatisch nodig zodra een organisatie meer data verzamelt. Het kan geschikt zijn om grote hoeveelheden onbewerkte data uit verschillende gegevensbronnen op te slaan, maar brengt ook beheer, kosten en beveiligingsvraagstukken met zich mee.

De technologie moet daarom volgen uit het gebruiksdoel, de eigenschappen van de data en de gewenste snelheid van verwerking.

Wat kun je met big data analytics?

Big data analytics omvat het onderzoeken van grote en uiteenlopende datasets om patronen, trends, onderliggende patronen en afwijkingen te herkennen, het analyseren ervan en daar bruikbare inzichten uit te halen.

Mogelijke toepassingen zijn:

• fraude en andere afwijkingen herkennen;
• vraag, capaciteit en klantgedrag voorspellen, zodat organisaties beter kunnen anticiperen en gedrag voorspellen;
• onderhoud plannen;
• processen en supply chains optimaliseren voor meer operationele efficiëntie;
• risico’s eerder signaleren;
• ontwikkelingen vrijwel realtime volgen, wat kan bijdragen aan verbeterde operationele efficiëntie.

Big data analytics helpt organisaties om bruikbare informatie om te zetten in zinvolle inzichten en nauwkeurigere prognoses.

Machine learning en andere analytische modellen, waaronder voorspellende modellen, kunnen worden ingezet om voorspellingen te maken of patronen te herkennen die in losse of kleinere datasets minder zichtbaar zijn.

De technologie levert zulke inzichten niet automatisch. Daarvoor zijn een duidelijke informatiebehoefte, betrouwbare data, een geschikt datamodel en inhoudelijke kennis van het proces nodig.

Business Intelligence kan vervolgens worden gebruikt om de uitkomsten te presenteren in dashboards en rapportages. Big data beschrijft vooral de aard en technische verwerking van de gegevens. BI richt zich op het omzetten van data in bruikbare stuurinformatie voor besluitvorming, waarbij ook een data analist nodig kan zijn voor het interpreteren van de uitkomsten.

Welke rol spelen datakwaliteit, governance en beveiliging?

Hoe meer gegevensbronnen en gebruikers, hoe belangrijker afspraken over data worden. Een organisatie moet weten waar gegevens vandaan komen, wie verantwoordelijk is voor de kwaliteit en wie toegang mag krijgen.

Governance, privacy en datakwaliteit zijn daarbij belangrijke uitdagingen.

Data governance helpt om definities, eigenaarschap, bewaartermijnen en toegangsrechten vast te leggen. Data lineage maakt zichtbaar welke weg gegevens afleggen van de bron naar een analyse, voorspellend model of dashboard.

Datakwaliteit is eveneens van cruciaal belang. Ontbrekende waarden, dubbele registraties en verschillende definities kunnen analyses en modellen beïnvloeden. Datawetenschappers besteden bovendien 50% tot 80% van hun tijd aan databeheer. Bij zeer grote datasets kunnen zulke problemen moeilijker handmatig worden opgespoord.

Ook beveiliging, privacy en andere compliancevereisten moeten vanaf het begin worden meegenomen. Grote hoeveelheden data kunnen persoonsgegevens, bedrijfsgevoelige informatie of andere vertrouwelijke gegevens bevatten. Alleen omdat gegevens technisch beschikbaar zijn, mogen ze nog niet automatisch voor ieder doel worden gebruikt. Zwakke governance en kwaliteitsproblemen dragen er ook aan bij dat 80% tot 90% van de big data-projecten mislukt in productie.

Wat is de relatie tussen big data en AI?

Grote en gevarieerde datasets kunnen worden gebruikt om AI-modellen te trainen en laten zien hoe big data wordt ingezet om met machine learning patronen te herkennen. Big data en kunstmatige intelligentie komen daarom regelmatig samen.

Meer data leidt echter niet automatisch tot een beter model. De gegevens moeten relevant, representatief, voldoende actueel en van goede kwaliteit zijn. Bij ongestructureerde data is bovendien de context belangrijk: een model moet niet alleen toegang hebben tot de gegevens, maar ook de juiste informatie voor het betreffende doel krijgen. Met grote en diverse datasets kunnen AI-modellen bijvoorbeeld gedrag voorspellen onder veranderende omstandigheden.

Een grote hoeveelheid onbetrouwbare data kan leiden tot onnauwkeurige of vertekende uitkomsten. Ook heeft niet iedere AI-toepassing big data nodig. Voor sommige vraagstukken is een kleinere, zorgvuldig geselecteerde dataset waardevoller dan een zeer grote verzameling gegevens.

Veelgestelde vragen over big data

Van big data naar een passende data-architectuur

Big data begint niet bij een vast aantal gigabytes of terabytes. Doorslaggevend is of enorme hoeveelheden gegevens een schaalbare manier van opslag en verwerking noodzakelijk maken, en de wereldwijde gegevenscreatie zal naar verwachting verdrievoudigen tussen 2025 en 2029. Volgens analisten verdubbelen data-volumes elke twee jaar, waardoor organisaties in toenemende mate met big data te maken krijgen.

Wie vooral worstelt met losse spreadsheets, verschillende definities of handmatige rapportages heeft waarschijnlijk geen big-dataprobleem, maar een vraagstuk rond data-integratie of datakwaliteit. Dat onderscheid voorkomt dat een organisatie een onnodig zware technische oplossing kiest.

HippoLine helpt organisaties om hun datavraagstuk te analyseren, samen met een data scientist, en te vertalen naar een passende data-architectuur, data-integratie en analyseomgeving, gebruikmakend van de expertise van het datagedreven team van HippoLine. Bekijk Consultancy & Advies bij HippoLine of plan een gesprek. Zo komen big data-initiatieven uit op schaalbare analyseomgevingen die met de groei mee kunnen bewegen.

Disclaimer

Dit artikel bevat algemene informatie over big data en vormt geen technisch, juridisch of organisatorisch advies voor een specifieke situatie. Welke aanpak geschikt is, hangt af van de gegevensbronnen, infrastructuur, informatiebehoefte, risico’s en wettelijke verplichtingen van de organisatie.