Qu’est-ce que le Data cleansing ?
Le Data cleansing, ou le nettoyage des données, est le processus de détection et de correction (ou de suppression) des informations corrompues ou inexactes d’un ensemble de données. Cela consiste à identifier les parties incomplètes, incorrectes ou non pertinentes des données, puis à les corriger ou supprimer de telles façons à ce qu’elles soient exactes.
Pourquoi nettoyer ses données ?
Si vous faites de la Data Exploration pour faire de l’analyse avancée ou de l’activation marketing, le nettoyage des données est une des premières étapes que vous devez réaliser, et l’une des plus importantes !
C’est simple, quasiment 100% des données brutes avec lesquelles vous allez travailler vont comporter des anomalies ou des incohérences. Avant de transformer vos données, ou de réconcilier vos sources, il faut absolument faire ce travail de nettoyage. Sans cette étape, il est certain que vos analyses soient biaisées et inexactes, et que vos activations marketing vous desservent.
Comment nettoyer ses données ?
Le Data Cleansing peut être réalisé en modifiant ou supprimant les données qui sont inexactes ou non représentatives, mais également en améliorant les données, grâce à l’ajout d’informations connexes permettant de rendre les données plus complètes.
Afin d’assurer le bon nettoyage de vos données, voici les 5 critères utilisés pour mesurer la qualité des données :
- Exactitude : les données doivent être exactes et représenter la réalité.
- Pertinence : les données doivent répondre aux exigences de l’utilisation prévue.
- Exhaustivité : les données ne doivent pas comporter de valeurs manquantes ou d’enregistrements de données manquants.
- Actualité : les données doivent être à jour.
- Cohérence : les données doivent être au bon format et pouvoir être réconciliées avec les autres sources de données.
Il existe de nombreux outils permettant de faire du data cleansing, tels que Trifacta, Openprise, OpenRefine et d’autres.
Cependant, si vous avez des connaissances en code, privilégiez de faire le cleansing manuellement en SQL ou Python, en utilisant des bibliothèques comme Pandas ou Dplyr. Cette méthode permettra un nettoyage plus précis et spécifique aux enjeux de votre business.
