PANAME : quand la CNIL et l’ANSSI s’unissent pour traquer ce que l’IA retient de vous

PANAME, CNIL et l’ANSSI  :Depuis plus de dix ans, la recherche en apprentissage automatique met en évidence un phénomène préoccupant : les modèles d’IA peuvent retenir, au sein de leurs paramètres, des données issues de leur jeu d’entraînement. Autrement dit, un modèle entraîné sur des millions de textes, d’images ou de fichiers peut « mémoriser » des informations personnelles sans que cela soit intentionnel.

Site de la CNIL

En pratique, deux méthodes permettent d’extraire ces données :

• Par accès aux paramètres internes du modèle (fonction de coût, gradient, activations), via des techniques statistiques avancées. Ce type d’attaque suppose un accès partiel ou complet au modèle lui-même.
• Par interrogation directe via des prompts, en exploitant les réponses générées par le modèle. Avec l’essor des IA génératives comme ChatGPT, Mistral ou Claude, ce risque est devenu très concret pour le grand public : il suffit parfois de poser la bonne question pour obtenir une donnée personnelle que le modèle n’aurait jamais dû restituer.

Ce phénomène de « régurgitation » ou d’extraction pose un problème fondamental dès lors que les données d’entraînement sont soumises à une réglementation, que ce soit le RGPD pour les données personnelles, le droit d’auteur ou le secret professionnel.

Le cadre juridique se précise : l’avis du CEPD de décembre 2024

Le 18 décembre 2024, le Comité européen de la protection des données (CEPD) a adopté un avis historique (avis 28/2024) sur le traitement des données personnelles dans le contexte des modèles d’IA. Demandé par l’autorité irlandaise de protection des données, cet avis constitue la première position européenne harmonisée sur le sujet.

Le CEPD y établit plusieurs principes structurants :

• Un modèle d’IA entraîné sur des données personnelles ne peut pas être présumé anonyme. L’appréciation doit se faire au cas par cas, par les autorités de contrôle.
• Pour qu’un modèle soit qualifié d’anonyme, la probabilité d’identifier directement ou indirectement des personnes à partir du modèle doit être « insignifiante », tout comme la probabilité d’en extraire des données personnelles par le biais de requêtes.
• Le fournisseur doit le prouver, tests à l’appui. La simple affirmation de l’anonymat ne suffit pas à exempter le modèle de l’application du RGPD. C’est une obligation de responsabilité (accountability).
• Un modèle développé à partir de données traitées illicitement pourrait voir la légalité de son déploiement remise en cause, sauf s’il a été effectivement anonymisé.

Le CEPD a toutefois reconnu que l’intérêt légitime pouvait constituer une base légale valable pour entraîner un modèle d’IA, sans nécessairement recourir au consentement. Mais cette base légale reste soumise au test en trois étapes classique : intérêt légitime réel, nécessité du traitement, et mise en balance avec les droits des personnes.

La CNIL avait déjà balisé le terrain

La CNIL n’a pas attendu l’avis du CEPD pour se positionner. Dès mai 2023, elle lançait son plan d’action sur l’IA, suivi en avril 2024 de ses premières recommandations pour concilier développement de l’IA et respect du RGPD. En 2025, elle a finalisé un corpus complet de fiches pratiques couvrant l’ensemble du cycle de vie d’un système d’IA : constitution des bases de données, annotation, choix de la base légale, information des personnes, exercice des droits, sécurité…

Sur la question spécifique de la mémorisation, la CNIL recommande aux fournisseurs :

• de s’efforcer de rendre leurs modèles anonymes lorsque cela est compatible avec l’objectif poursuivi ;
• de développer des solutions innovantes pour empêcher la divulgation de données personnelles confidentielles par le modèle ;
• de mettre en place des filtres robustes au niveau du système encapsulant le modèle ;
• d’informer les personnes concernées du risque de mémorisation, y compris lorsqu’il ne peut être ni confirmé ni exclu.

PANAME : une bibliothèque logicielle pour auditer la confidentialité des modèles d’IA

Le constat : des outils dispersés et inaccessibles

Si les méthodes d’extraction et de réidentification existent dans la littérature académique, elles restent largement inaccessibles aux entreprises. Trois obstacles majeurs ont été identifiés :

• Une littérature éparse et technique : se repérer dans les publications scientifiques demande du temps et des compétences pointues, difficilement mobilisables par les petits acteurs.
• Des implémentations expérimentales : même lorsqu’elles sont disponibles en open source, ces techniques nécessitent un travail d’intégration considérable pour fonctionner en environnement industriel.
• Aucun cadre standardisé : il n’existe à ce jour aucune norme unifiée pour formaliser les tests de confidentialité des modèles d’IA.

La réponse : le projet PANAME

Pour combler ce vide, le projet PANAME (Privacy Auditing of AI Models) a été lancé en juin 2025. D’une durée de 18 mois, il vise à développer une bibliothèque logicielle disponible en tout ou partie en source ouverte, permettant de réaliser des tests d’extraction et de réidentification de données sur les modèles d’IA.

L’objectif est clair : offrir aux acteurs de l’écosystème IA un outil opérationnel, à moindre coût, pour évaluer le statut de leurs modèles au regard du RGPD. Concrètement, cet outil permettra de vérifier si un modèle « fuite » des données personnelles, et donc s’il peut prétendre au statut de modèle « anonyme » au sens du CEPD.

Quatre partenaires, quatre expertises complémentaires

Le projet réunit quatre acteurs institutionnels, chacun apportant une compétence distincte :

• La CNIL : cadrage juridique et pilotage du projet. C’est elle qui fait le lien entre les exigences du RGPD et la réalité technique des tests.
• L’ANSSI (Agence nationale de la sécurité des systèmes d’information) : expertise sur les attaques et les techniques d’extraction. L’ANSSI apporte sa connaissance des vecteurs de menace pour rendre les tests réalistes.
• Le PEReN (Pôle d’Expertise de la Régulation Numérique) : développement concret de la librairie logicielle. C’est le bras technique du consortium.
• Inria / projet IPoP (Interdisciplinary Project on Privacy), dans le cadre du PEPR Cybersécurité : direction scientifique. Inria garantit l’ancrage dans l’état de l’art de la recherche.

L’appel à manifestation d’intérêt : à vous de jouer

Après une première phase de spécifications techniques et de développement, le consortium entre dans sa phase de tests grandeur nature. Un appel à manifestation d’intérêt (AMI) a été publié le 26 février 2026 par la CNIL.

Qui peut candidater ? Toute entité publique ou privée établie dans un État membre de l’Union européenne.

Pour quoi faire ? Tester la librairie PANAME dans un contexte réel d’utilisation, fournir des retours d’expérience et contribuer à enrichir les fonctionnalités de l’outil.

Date limite : 28 mars 2026.

Comment candidater ? Les dossiers doivent être envoyés par voie électronique à l’adresse paname@cnil.fr, en utilisant le formulaire de réponse disponible sur le site de la CNIL.

Les partenaires se réservent le droit de clôturer les candidatures avant l’échéance si un nombre suffisant de participants est atteint. Une notification sera faite sur les réseaux sociaux le cas échéant.

Ce que cela change pour les DPO et les responsables de traitement

Pour les délégués à la protection des données et les responsables de traitement, le projet PANAME marque un tournant à plusieurs niveaux :

1. La question de l’anonymat des modèles d’IA devient incontournable. Les organisations qui utilisent ou déploient des modèles d’IA entraînés sur des données personnelles doivent désormais être en mesure de justifier le statut de leurs modèles. L’absence de test équivaut, dans la logique du CEPD, à une présomption de non-anonymat, et donc à l’application intégrale du RGPD.

2. Un outil concret se dessine. Jusqu’ici, les DPO étaient face à un discours essentiellement théorique : on savait que la mémorisation existait, mais les moyens de la tester restaient hors de portée pour la plupart des organisations. PANAME promet de changer la donne en rendant ces tests accessibles et standardisés.

3. Le duo CNIL/ANSSI monte en puissance sur l’IA. La coopération entre la CNIL (protection des données) et l’ANSSI (cybersécurité) sur un projet aussi structurant envoie un signal fort : les audits techniques ne se limiteront plus à la sécurité des systèmes d’information, mais intégreront désormais la confidentialité des modèles d’IA eux-mêmes.

4. L’open source comme levier de confiance. En publiant l’outil en source ouverte, les partenaires permettent à l’ensemble de l’écosystème, y compris les fournisseurs d’IA et les chercheurs, de vérifier, reproduire et enrichir les tests. C’est un gage de transparence et de crédibilité scientifique.