Fait : la gestion de la qualité des données augmente le retour sur investissement
La prise de décision et la résolution de problèmes sont basées sur des données que vous recevez et interprétez pour réaliser la vision de votre entreprise, aider le personnel ou les clients, ou résoudre un problème. Avant COVID-19, Gartner estimait que l'impact financier annuel d'une mauvaise qualité des données était de l'ordre de 15 millions de dollars.
La gestion de la qualité des données (DQM) a un impact sur la capacité à créer une stratégie de gestion maîtrisée gestion des données (MDM). Gartner et ISACA estiment que la qualité des données doit être un sujet et une préoccupation récurrents au niveau du conseil d'administration. Seuls les dirigeants bénéficiant d'outils de gestion de la qualité des données et de tableaux de bord peuvent créer la culture et les comportements qui empêcheront les données de devenir un dangereux boulet au lieu d'un atout stratégique.
Qu'est-ce que la gestion de la qualité des données ?
La gestion de la qualité des données est l'ensemble des processus, outils et connaissances approfondies des données dont vous avez besoin pour prendre des décisions ou résoudre des problèmes afin de minimiser les risques et l'impact sur votre organisation ou vos clients. Il est possible de disposer de données de haute qualité et d'obtenir malgré tout des résultats médiocres. La GQD est la pratique qui consiste à utiliser ces données pour servir vos objectifs avec souplesse et agilité. Pour ce faire, vous devez évaluer les données dont vous disposez aujourd'hui ainsi que les processus et les outils qui utilisent ou support données par rapport à des mesures d'exactitude, d'exhaustivité, de cohérence et d'actualité.
Les pratiques d'acquisition, d'utilisation et de stockage des données dans le cadre du DQM et du MDM font partie du rôle de chacun, y compris des fournisseurs. Cela fait des données un actif holistique, ce qui signifie que les données sont l'entrée et la sortie de chaque tâche et transaction effectuée par votre entreprise. En tant que tel, la qualité de vos données sera améliorée en suivant les meilleures pratiques de l'industrie (DQM) qui commencent par la conception d'une vue du flux et de l'utilisation des données (MDM).
De bonnes pratiques en matière de gestion de la qualité des données et de gestion des données de gestion (MDM) aideront à surmonter ces difficultés :
- Le manque de confiance dans les données pousse les employés à créer leurs propres versions des données (non standard sur plusieurs feuilles de calcul Excel et tableaux de données).
- Des données insuffisantes à l'origine de mauvaises décisions.
- L'augmentation du coût de la gestion des données et du stockage.
- Manque d'uniformité dans l'utilisation ou la sensation des données, ce qui complique l'utilisation des applications.
- Créer des niveaux de risque inacceptables ou des atteintes potentielles à la réputation en raison d'une gestion incorrecte des données.
- Les silos de communication et de collaboration causés par des données déficientes ou mal comprises.
- Incapacité à réagir aux changements ou aux crises volatiles du marché (par exemple, COVID-19).
- L'absence de pratiques numériques empêche l'utilisation transversale des données non structurées.
En termes simples, la gestion des données est une pratique holistique qui touche tous les aspects de votre organisation. Les processus et le modèle de gestion gestion des données de votre Master évolueront au fur et à mesure que vous mettrez en place un cadre de gestion de la qualité des données.
Une autre suggestion serait d'examiner les cadres et les outils proposés par les fournisseurs de services en nuage, tels qu'Azure Purview. Cet outil met en évidence l'historique de vos données, depuis leur création jusqu'à leur archivage ou leur suppression. De cette manière, vous construisez un ensemble de sources de données (entrepôts de données, lacs de données) qui sont fiables et support tous vos scénarios de gouvernance et d'audit. La meilleure suggestion est d'apprendre des consultants en gestion des données et en intégration qui peuvent vous aider à introduire des outils et des processus qui intègrent, contrôlent, vérifient, archivent et suppriment vos données à travers les modèles de gestion des données maîtres et de qualité que vous avez définis.
Attributs de la gestion de la qualité des données
La qualité de la gestion des données est ce qui rend votre entreprise saine. Comme nous l'avons déjà mentionné, DQM possède les attributs suivants :
- Complétude : Y a-t-il des champs ou des informations manquants ?
- Validité : Les données correspondent-elles à leur besoin et à leur utilisation ?
- Unicité : Vous appuyez-vous sur le bon ensemble de données et non sur un ensemble d'informations redondantes mais obsolètes ?
- cohérence: Les mêmes informations sont-elles disponibles pour toutes les personnes concernées et ne varient-elles pas en fonction de l'application ou du domaine d'activité ?
- Actualité ou ancienneté : Les données représentent-elles les informations les plus précises et les plus disponibles au moment de leur utilisation ?
- Précision : Les valeurs des données sont-elles conformes aux prévisions ?
- Intégrité : Les données sont-elles utilisables au regard de vos normes de gouvernance en matière de qualité des données ?
Cadre de gestion de la qualité des données et bonnes pratiques
Garder à l'esprit les attributs de la qualité des données et leur formulation dans un système de données de référence vous aidera à créer la structure de votre cadre. Les cadres DQM et MDM support règles et les mesures de la qualité des données qui garantissent votre confiance dans les décisions et les problèmes liés à l'alimentation des données.
Un cadre de MDM guidera vos politiques et processus de gouvernance qualité des données, ainsi que les métriques et règles de garde-fou pour aider le personnel, l'informatique et les fournisseurs à garder vos données sûres, sécurisées et utilisables. Lors de l'élaboration du cadre, il convient de prendre en compte les éléments suivants
- Responsabilité : Qui sera le principal pourvoyeur de votre stratégie et de votre gouvernance en matière de données ? Nombreux sont ceux qui créent un nouveau rôle, celui de Chief Data Officer (CDO), pour remplir cette fonction.
- Transparence : Comment les règles relatives aux données seront-elles partagées ? Quel retour d'information recueillerez-vous pour influencer les changements de politique ?
- Conformité : Comment saurez-vous que les politiques et les normes sont respectées ? Quelle sera la sanction en cas de violation d'une politique en matière de données ? Comment vous assurerez-vous que vos politiques répondent aux exigences réglementaires ?
- Protection : Que ferez-vous pour archiver, nettoyer, modifier, sécuriser, sauvegarder, récupérer et supprimer les données ? Comment savez-vous que vous avez des problèmes de données ? Quelles mesures de surveillance et d'alerte devez-vous mettre en place pour les sources de données entrantes (provenant d'Internet, par exemple) ou sortantes (des données sont-elles transférées illégalement ou avez-vous été piraté) ?
Un excellent modèle à adopter et à adapter est celui des professeurs Richard Wang et Diane Strong Beyond Accuracy : Ce que la qualité des données signifie pour les consommateurs économiques.
Une autre suggestion serait d'examiner les cadres et les outils proposés par les fournisseurs de services en nuage, tels qu'Azure Purview. Cet outil met en évidence l'historique de vos données, depuis leur création jusqu'à leur archivage ou leur suppression. De cette manière, vous construisez un ensemble de sources de données (entrepôts de données, lacs de données) qui sont fiables et support tous vos scénarios de gouvernance et d'audit. La meilleure suggestion est d'apprendre des consultants en gestion des données et en intégration qui peuvent vous aider à introduire des outils et des processus qui intègrent, contrôlent, vérifient, archivent et suppriment vos données à travers les modèles de gestion des données maîtres et de qualité que vous avez définis.
Par où commencer ?
La première question à se poser est la suivante : quelles sont les données que nous utilisons ? L'utilisation d'une version simple de la cartographie de votre travail (cartographie de la chaîne de valeur) peut mettre en évidence toutes les données de votre organisation, où et pourquoi elles sont utilisées, et comment elles sont gérées. Sans évaluation, le modèle principal de gestion des données que vous créez ne sera pas adapté, ce qui aura un impact sur les mesures de qualité que vous espériez obtenir. Après avoir consulté vos équipes de développement et vos partenaires de gestion des données , une conception minutieuse vous aidera à éviter les pièges des mauvaises pratiques de gestion des données .
Votre conception débouchera sur une série de projets pilotes au cours desquels vous commencerez à évaluer les données circulant dans votre organisation en termes de qualité et de contrôle. Les résultats des projets pilotes vous aideront à structurer votre cadre de gouvernance qualité des données. Ce cadre aidera les équipes de développement et les utilisateurs à utiliser au mieux avantage données en tant que source d'information grâce à des outils, des modèles, des politiques, un apprentissage et un suivi qui englobent votre cadre de gestion des données pour chaque jeu de données ou source au sein de votre entreprise.
Le CDO ou les propriétaires de données au sein de chaque fonction de l'entreprise devraient faire partie de l'équipe de gouvernance et contribuer à la mise en œuvre des droits d'accès et de la gestion en devenant des gestionnaires de données. N'oubliez pas que l'informatique ne doit servir qu'à faciliter la création de cadres, d'entrepôts ou de lacs de données. Les gestionnaires de données du domaine d'activité sont propriétaires (responsables) de leurs données, de leur utilisation et de leur maintenance.
Les données sont votre atout majeur. Vos projets pilotes devraient commencer par l'amélioration de la qualité et du contrôle de vos données critiques, les plus souvent utilisées ou mises à jour. Chaque source de données doit faire l'objet d'une approche pilote (d'apprentissage) basée sur vos cadres de gouvernance, de qualité et de gestion des données maîtresse gestion des données . De cette manière, votre agilité et votre flexibilité seront maintenues et, au fur et à mesure que vous développerez vos pratiques, vous contribuerez à créer une entreprise numérique plus viable, capable de survivre sur un marché mondial volatile.
Activités et cycle de vie de la qualité des données
Ces activités principales régiront de manière appropriée la qualité de vos données :
- Acquisition : Obtenir les données à partir d'une source, d'une saisie manuelle ou d'une sortie d'application.
- Analyser : Décider si les données répondent aux normes de qualité pour l'utilisation, généralement par le biais d'une application nécessitant les données.
- Nettoyage : Suppression de tout élément de données non nécessaire, afin de réduire la taille au minimum.
- Enrichissement : L'ajout de données supplémentaires pour créer un ensemble d'informations, par exemple des sources de données multiples pour créer des rapports financiers.
- Surveillance et alerte : L'activité principale pour maintenir la sûreté, la sécurité et la conformité.
- Réparer : Si un jeu de données est corrompu, cette étape permet de corriger les problèmes.
- Archivage ou suppression : Sauvegarde des données en fonction des exigences convenues.
- Rapports : Il peut s'agir des rapports réguliers ou des écrans utilisés par votre entreprise, mais en termes de qualité des données, il s'agit de l'étape qui signale et enregistre les problèmes de données, la manière dont ils sont traités et la répétition éventuelle des problèmes.
Processus de gestion de la qualité des données
Les processus de gestion de la qualité des données diffèrent en fonction de l'utilisation des données dans chaque domaine d'activité. C'est pourquoi votre cadre doit être holistique dans sa vision, mais fournir tactiquement des garde-fous pour que chaque équipe ou activité puisse s'efforcer d'atteindre la qualité nécessaire pour garantir la sécurité, la facilité, la conformité, les coûts et la compétitivité. Le même concept s'applique à l'élaboration de votre cadre de gestion des données , qui met en évidence les règles de base pour l'acquisition, l'utilisation, le stockage et l'accès aux données.
Gestion de la qualité des données d'entreprise
La création d'un cadre solide pour la qualité des données et les données de référence est un ensemble d'actions complexes mais nécessaires. Sans l'engagement, le support et le financement de la haute direction, la qualité de vos données sera suspecte et pourrait vous rendre vulnérable. Par conséquent, l'examen des données au niveau de l'entreprise, puis vers le bas, est une excellente approche pour s'assurer que les données nécessaires sont de la qualité requise.
Il faut s'éloigner des clients que l'on sert ou des résultats des tâches internes pour voir si les données répondent aux attentes. La gestion des produits, DevOps, Agile et la réflexion ITSM peuvent servir de base aux politiques, règles et outils de gestion des données l'entreprise. Une fois en place, vous pouvez commencer à élargir le champ d'application de l'utilisation des données pour inclure le comportement des clients, le statut des concurrents, les problèmes rencontrés par d'autres entreprises que vous pourriez être en mesure de résoudre (premier sur le marché), et bien plus encore.
Le profilage des données s'apparente au travail de détective que l'on voit dans les séries télévisées. Vos données correspondent-elles aux règles nécessaires, et si ce n'est pas le cas, pourquoi ? Ces incohérences vous obligeront à nettoyer et à réparer les données dès que possible. L'une des façons de mettre en œuvre le profilage des données consiste à disposer d'un vérificateur de produits d'une application ou d'un produit à l'autre. Une autre solution consiste à créer un glossaire des données et des termes utilisés dans l'entreprise. Votre partenaire de conseil en gestion gestion des données peut vous fournir des modèles et vous guider sur la meilleure façon de créer et de contrôler vos données afin qu'elles soient toujours prêtes à être utilisées par une tâche ou à étayer une décision basée sur le résultat d'une analyse de données.
Mesures de la qualité des données
Les mesures de la qualité des données sont les garde-fous des cadres de qualité des données et de MDM. Les ratios suggérés ci-dessous constituent les mesures standard de la qualité des données, mais ils peuvent être influencés par d'autres mesures commerciales que vous appliquez actuellement.
- Rapport entre les données et les erreurs : Combien de problèmes y a-t-il pour chaque jeu de données, entrepôt de données ou lac de données, comme le montrent les erreurs d'application ou les alertes de sécurité ?
- Nombre de valeurs vides : Combien de champs obligatoires sont vides, car ils peuvent entraîner des incidents de données ou une mauvaise prise de décision?
- Temps de valorisation des données : Combien de temps faut-il pour utiliser les données afin de prendre une décision, de résoudre un problème ou d'effectuer une tâche?
- Taux d'erreur dans la transformation des données : Les applications transforment souvent les données et, en cas d'erreur, elles nécessitent une attention immédiate.
- Coûts de stockage ou de gestion des données : Le coût de l'archivage ou de la maintenance des données est-il en hausse, et pourquoi ?
Outils de gestion de la qualité des données
Votre entreprise, quelle que soit sa taille, possède trop de données pour que vous puissiez les gérer manuellement. Un logiciel est nécessaire pour effectuer des actions quotidiennes et, dans de nombreux cas, en temps réel pour :
- Profilage des données: s'agit-il des données correctes pour la tâche?
- Nettoyage, analyse, déduplication et suppression.
- Archivage, sauvegarde, récupération, intégration et synchronisation sur demande ou à un moment donné.
- Version des données en fonction de l'application et de l'utilisation du produit.
- la distribution des données à des sources externes ou à des magasins de données.
- Tâches de qualité des données à l'aide de règles d'intelligence artificielle (IA) et d'apprentissage automatique (ML).
- Contrôle continu des données.
Résumé de la gestion de la qualité des données
Vos données sont votre principal atout après les personnes. Sans données de qualité, il vous sera difficile, voire impossible, de créer et de gérer des produits ou des services, de prendre des décisions, d'aider vos clients, de maintenir votre compétitivité et votre pertinence et de respecter les obligations réglementaires.
Le coût d'un manque de données est illustré par ce graphique de Ringlead:
La qualité des données fluctuera en fonction de l'évolution de votre entreprise, tout comme la santé de votre corps, dont les conditions changent en fonction de ce que vous faites ou de ce que vous ressentez. Les cadres et la gouvernance du MDM avantage d'une vision holistique de la gestion des données , ce qui conduira à de bonnes pratiques de gestion de la qualité des données spécifiques à votre organisation. L'objectif est de définir des mesures de qualité des données SMART qui aident votre organisation à bien faire son travail tout en étant alertée en cas de problème.
Vos clients remarqueront si les données sont insuffisantes, erronées ou mal utilisées, et leur réaction peut causer des dommages irréparables ou conduire à des amendes telles que celles prévues par le GDPR. Votre CDO peut aider à créer le cadre de gouvernance , mais la qualité des données est le rôle du personnel et des fournisseurs. Enfin, la gestion de la qualité des données doit faire l'objet d'une discussion et d'une préoccupation au niveau du conseil d'administration, ce qui permet d'instaurer une culture de la qualité des données dans le cadre du rôle de chacun, y compris des fournisseurs auxquels vous faites appel.
