Clustering pour l'Extraction d'Automate à Partir de Réseaux de Neurones Récurents H/F - 95

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au coeur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

- La conscience des responsabilités
- La coopération
- La curiositéContexte
Avec les récents développements en matière d'IA, son utilisation est de plus en plus répandue et soulève de plus en plus de questions quant à sa robustesse, son respect de la vie privée ou autre. Un certain nombre de travaux ont émergés pour augmenter la confiance dans les IAs en se basant sur des méthodes formelles pour obtenir des garanties mathématiques de leur sûreté.
Pour les réseaux de neurones récurents, l'application de méthodes telles que l'interprétation abstraite pour vérifier cette sûreté est difficile à cause de leur reccurence. Apprendre un automate fidèle comme un modèle de substitution permet de réduire la complexité du modèle et de facilité sa vérification. Cet apprentissage dépend fortement de méthodes de clustering pour regrouper les états cachés du RNN. En rapprochant les états de même sémantique, il est possible de construire un automate reproduisant les trajctoires du RNN.
Stage
Les méthodes actuelles de clustering pour l'apprentissage passif d'automates se base principalement sur l'utilisation de K-means à partir de traces d'exécution du RNN. Cette méthode est cependant limitée lorsqu'appliquée sur des données complexes et de haute dimension. Cela impacte alors la taille (nombre d'états) et la fidélité de l'automate extrait.
L'objectif principal de ce stage est d'étudier et d'implémenter différents algorithmes de clustering pour l'extraction d'automate à partir de RNN. Il se compose de 3 étapes:
Familiarisation avec apprentissage d'automates depuis des RNNs et état de l'art des méthodes de clustering
Implémentation et comparaison des algorithmes sur des benchmarks prédéfinis.
Si le temps le permet, conception d'une nouvelle méthode de clustering plus adaptée et/ou application des automates appris pour l'interprétabilité et l'explicabilité des RNNs.
Depending on the quality of the work carried out, a scientific publication can be expected by the end of the internship.