Datakwaliteit - Het belang van betrouwbare data

De afgelopen jaren heeft datakwaliteit een steeds belangrijkere positie gekregen binnen organisaties. Datagedreven sturing en daarmee betrouwbare data zijn een must voor de continuïteit van een organisatie; er valt immers veel te halen met betrouwbare data. Uit onderzoek van Gartner blijkt dat slechte datakwaliteit organisaties gemiddeld bijna 13 miljoen dollar per jaar kost. Het gaat onder andere om kosten die worden gemaakt door werknemers die bezig zijn met het corrigeren van de data of fouten die klanten maken door onbetrouwbare data. 

In deze blog gaat het niet alleen om algemene informatie over datakwaliteit. Er wordt juist dieper ingegaan op de oorzaken van slechte datakwaliteit en hoe je slechte datakwaliteit kunt voorkomen, opsporen en verbeteren. Daarvoor is het allereerst belangrijk om te definiëren wat datakwaliteit precies is.  

Datakwaliteit en de gevolgen van onbetrouwbare data  

“Datakwaliteit zegt iets over de mate waarin de gegevens geschikt zijn voor het doel waarvoor de data gegenereerd wordt.” 

Iedere organisatie heeft wel te maken met verstoringen in het productieproces, ontevreden klanten (doordat ze onterecht worden benaderd of omdat het geleverde product/de verleende dienst niet volgens afspraak is geleverd) of informatie voor medewerkers die onvolledig/onjuist is. Dit is vaak te relateren aan onbetrouwbare data. Onbetrouwbare data kost organisaties niet alleen veel geld, maar kan zelfs resulteren in datalekken, reputatieschade of kan de continuïteit van de organisatie in gevaar brengen. Wanneer je vijf minuten googelt op “de gevolgen van onbetrouwbare data” vind je hier bijna oneindig veel voorbeelden van. 

Door meer aandacht te besteden aan datakwaliteit kan een organisatie deze problemen voorkomen en veel kosten besparen. Maar wat zijn nu de oorzaken van onbetrouwbare data?  

Oorzaken van lage datakwaliteit

Binnen ieder bedrijf is onbetrouwbare data aanwezig. Dit hoeft niet altijd een fout in de data te zijn; het kan ook door verkeerd gebruik van data komen. Slechte datakwaliteit is dan een afgeleide. Met goede architectuur, governance en datamodellen kunnen de risico’s worden gereduceerd. Het is van groot belang dat je weet hoe je met data in je organisatie omgaat.  

Oorzaken van lage datakwaliteit zijn onder andere:

• Datakwaliteit is niet ingebed in de cultuur van de organisatie: Management zet dit onvoldoende op de kaart; 
• Processen niet voldoende ingericht en afgestemd binnen de organisatie: We zien bijvoorbeeld binnen bedrijven dat verschillende afdelingen dezelfde data genereren, maar de data anders vullen in het systeem of er anders mee omgaan; 
• Aanpassen van processen zonder goede impactanalyse: Als processen voor het opvoeren van data worden aangepast zonder te kijken naar het gebruik en doel ervan, kan de data onbruikbaar worden. 
• Gebrek aan een duidelijke governance-structuur: Verantwoordelijkheden voor data zijn vaak onduidelijk, waardoor niemand toeziet op correcte invoer en gebruik.  
• Dubbel gebruik van velden voor verschillende doeleinden.  

Datakwaliteit meten

Datakwaliteit moet meetbaar zijn om de risico’s op schade te beperken. De eisen hiervoor zijn afhankelijk van het doel waarvoor de data wordt vastgelegd en gebruikt. Een algemene lijst met criteria bestaat niet; dit is voor iedere organisatie en elke afdeling verschillend. Maar kwaliteitscriteria zijn essentieel om goed te kunnen meten.  

Door onze ervaring in datakwaliteitprojecten zijn de volgende kwaliteitscriteria dé criteria om te toetsen hoe het gesteld is met de data van een organisatie:  

1. Accuraatheid: Is de ingevoerde data correct? In welke mate reflecteert de data de werkelijkheid?
   Dit vergt enige kennis van de inhoud van de data ten opzichte van hoe het zich weerlegt in het echt. Aan de hand van descriptieve statistieken kun je testen of je data de werkelijkheid goed nabootst; 
2. Compleetheid: Is alle data aanwezig? Denk hierbij aan het hebben van missende waarden en het hebben van de juiste variabelen om je onderzoek te kunnen doen of je dienstverlening uit te kunnen voeren; 
3. Consistentie: Kan data in verschillende systemen gebruikt worden? Is de data gelijk in alle systemen? Dit kan misgaan wanneer je bijvoorbeeld data vanuit verschillende bronnen trekt en deze verbindt, ondanks de verschillen. Het is daarom in ieder geval belangrijk om de metadata (tekst en uitleg over je data) goed bij te houden; 
4. Validiteit: Is de data in het juiste formaat en is deze in lijn met de regels binnen jouw organisatie?
   Denk hierbij aan checks zoals dat de datum ook als juiste datumsoort is opgeslagen, dat getallen als geheel of decimaal getal moeten worden opgeslagen en/of tekstbestanden als integer moeten worden opgeslagen of niet; 
5. Relevantie: Is de data bruikbaar voor het doel waar jij het voor nodig hebt? Het is belangrijk om doelen te stellen op basis van de analyse voordat je data verzamelt. Voordat je begint met de analyse, controleer altijd of de data wel relevant is voor het gegeven doel. Dit kan veel tijd besparen; 
6. Redundantie: Is dezelfde data op verschillende plekken terug te vinden en/of opgeslagen?
   Wanneer dit het geval is, wordt er niet efficiënt omgegaan met de data. Als gevolg hiervan kan de database groter zijn dan nodig is, wat leidt tot hogere kosten; 
7. Tijdigheid: Is de data beschikbaar op het moment dat je het nodig hebt? Een voorbeeld is data die nodig is voor maand- of kwartaalrapportages. Wanneer de data niet op tijd beschikbaar is, geef je niet altijd een compleet beeld weer van hetgeen dat je middels data wilt laten zien; 
8. Toegankelijkheid & beschikbaarheid: Hoe makkelijk kunnen personen beschikken over de data? 
9. Security: Hoe wordt de toegang tot data door systemen en medewerkers beheerst?

Datakwaliteit verbeteren: een sterke basis voor jouw ambities 

Datakwaliteit is geen eenmalig project, maar een continu proces. Data speelt een key role in je organisatie en goede datakwaliteit moet daarom topprioriteit zijn. Met schone, betrouwbare data neem je de juiste (snelle) beslissingen, voldoe je aan regelgeving en minimaliseer je risico’s. Daarnaast kan het je een concurrentievoordeel geven en vergroot het je wendbaarheid als organisatie. 

Dat vraagt om de juiste aanpak en borging. Een solide data-architectuur, governance en goed ingerichte processen vormen de basis. Heldere definities, eigenaarschap en controlepunten zorgen ervoor dat je datakwaliteit niet alleen verbetert, maar ook bewaakt. Door een gestructureerde aanpak voor het detecteren en oplossen van issues in te richten, voorkom je terugkerende problemen. 

Bij VertX helpen we je om je data toekomstbestendig te maken, zodat jij met vertrouwen vooruit kunt. We helpen je graag om jouw data te stroomlijnen, datakwaliteit te identificeren en waar nodig te verbeteren. Wil jij ook betrouwbare, opgeschoonde data hebben of wil je sparren over dit onderwerp? Plan een vrijblijvend gesprek, wij staan voor je klaar! 

Voor dit artikel zijn de volgende bronnen geraadpleegd: https://www.anodot.com/blog/price-pay-poor-data-quality/ , Datakwaliteitsonderzoek - Compact , Earley, S., Henderson, D., & Data Management Association. (2017). DAMA-DMBOK : data management body of knowledge. New Jersey: Technics Publications.