Le "Data poisoning" est une technique d'attaque informatique qui vise à corrompre les données utilisées pour entraîner ou mettre à jour un modèle d'apprentissage automatique. L'objectif est de nuire à la performance ou à la fiabilité du modèle, voire de le forcer à prendre des décisions erronées ou malveillantes.
Mécanismes d'attaque
Les attaquants peuvent injecter des données falsifiées dans le jeu d'entraînement (empoisonnement par injection) ou manipuler les étiquettes associées aux données existantes (empoisonnement par altération des étiquettes). Dans le premier cas, de nouvelles entrées (par exemple, des images modifiées, des textes déformés) sont ajoutées. Dans le second, les classifications correctes sont modifiées pour induire le modèle en erreur. Ces altérations peuvent être subtiles et difficiles à détecter, surtout dans de grands ensembles de données.
Impact sur les PME
Pour une PME qui utilise des modèles d'IA pour des processus critiques (détection de fraude, recommandation de produits, gestion des stocks), le "Data poisoning" peut avoir des conséquences financières et réputationnelles significatives. Un modèle de détection de fraude empoisonné pourrait par exemple ignorer de véritables tentatives de fraude ou, à l'inverse, bloquer des transactions légitimes, entraînant des pertes directes ou une dégradation de l'expérience client.
Prévention et détection
La prévention repose sur plusieurs piliers : la sécurisation des chaînes d'approvisionnement des données, la validation rigoureuse des sources, et l'utilisation de techniques de détection d'anomalies sur les jeux de données. Des audits réguliers des données, des mécanismes de relooking (retrait de données suspectes) et l'entraînement de modèles sur des sous-ensembles de données robustes peuvent contribuer à mitiger ce risque. L'intégration de techniques d'apprentissage fédéré ou de differential privacy peut également renforcer la résilience des modèles face à ces attaques en limitant l'exposition des données brutes.