Référent sécurité en Intelligence Artificielle/en

Le référent cybersécurité pour les data scientists est intégré dans leur environnement de travail. Il est leur point de contact privilégié pour assurer concrètement la prise en compte de la cybersécurité dans les projets IA qu’ils développent.

Catégorie : Commun Statut : ⧼cc-com-idée⧽ 1 : Idée - 2 : Prototype - 3 : Validation - 4 : ProductionMots clés : Formation, Vocation

What role for the cyber security advisor in Artificial Intelligence?

The cybersecurity advisor for data scientists :

• Ensures that the data science team implements the security requirements of their organisation and regulators, applicable to their working environment and the AI models produced;
• Maintains a culture and reflexes of cybersecurity in the data science team;
• Relays the needs of the data science team to the cybersecurity correspondents in his/her organisation.

Day-to-day activities

As a member of (or seconded to) a data science team, the cybersecurity advisor for data scientists must :

• Réaliser une veille sécurité quotidienne sur les menaces et les vulnérabilités des modèles IA et de leur environnement de travail (y compris langages, frameworks, bibliothèques, infrastructure...) pour que l'équipe puisse les traiter ;
• Mettre à disposition de l’équipe les solutions de cybersécurité applicables :

- Interagir avec les correspondants cybersécurité de son organisation pour remonter les nouveaux besoins et obtenir des solutions adaptées ;

- Capitaliser sur/Développer les mécanismes de protection, librairies de fonctions sécurité, scripts... qui permettent de sécuriser les modèles développés et leurs données ;

- Suivre les solutions de sécurité pour la data science qui gagnent en maturité ;

• Former ses collègues aux risques cyber auxquels leur environnement et modèles sont exposés, ainsi qu’aux bonnes pratiques de sécurité de développement et de manipulation de données ;
• Vérifier l’application des mesures de sécurité sur leur environnement de travail ;
• Aider ses collègues à intégrer la sécurité « by design » dans les modèles qu’ils conçoivent, en particulier en intégrant des mécanismes de détection de fuite de données critiques ou de manipulation/déviation des modèles ;
• Réaliser les revues sécurité de code et des modèles et valider avant mise en production.

Les compétences clés attendues

Compétences organisationnelles

• Compréhension des enjeux des métiers fournissant les cas d’usage à développer pour mieux anticiper les déviations nocives du modèle et mieux cibler la protection des jeux de données
• Bonne connaissance de l’écosystème/la communauté cybersécurité de son organisation
• Capitalisation et transmission des savoirs;

Compétences en data science

Un data scientist ou ingénieur ML avec

• Connaissance large des librairies utilisées et disponibles sur le marché
• Connaissance large des plateformes de développement MLOps
• Pratique confirmée du ML sur tout le cycle : design, développement, entrainement/validation, intégration

Compétences cybersécurité

• Fondamentaux sur la cybersécurité (menace, analyse des risques, besoins, mécanismes, architecture, cloudsec)
• Capacité à organiser la veille sécurité (menaces, vulnérabilité, solutions) : source, traitement…
• Connaissance des types d’attaques sur l’IA et les principes de mitigation
• Connaissance pratique des mécanismes de protection des données, y compris sécurité du pipeline data (transfert, stockage, calcul) ou des extractions de jeu de données.
• Connaissance pratique de la sécurité des développements, y compris des risques « supply chain », opensource, git…
• Pratique de la revue sécurité du code

Groupe de travail

IA et cybersécurité