Une stratégie pour améliorer l’interprétabilité des modèles de reconnaissance d’images

Au cours de la dernière décennie environ, les réseaux de neurones profonds ont obtenu des résultats très prometteurs sur une variété de tâches, y compris les tâches de reconnaissance d’image. Malgré leurs avantages, ces réseaux sont très complexes et sophistiqués, ce qui rend difficile voire impossible l’interprétation de ce qu’ils ont appris et la détermination des processus derrière leurs prédictions. Ce manque d’interprétabilité rend les réseaux de neurones profonds quelque peu indignes de confiance et peu fiables.

Des chercheurs du laboratoire d’analyse des prédictions de l’Université Duke, dirigé par le professeur Cynthia Rudin, ont récemment mis au point une technique qui pourrait améliorer l’interprétabilité des réseaux de neurones profonds. Cette approche, appelée concept blanchiment (CW), a été introduite pour la première fois dans un article publié dans Intelligence artificielle de la nature.

«Plutôt que de mener une analyse post hoc pour voir à l’intérieur des couches cachées des NN, nous modifions directement le NN pour démêler l’espace latent afin que les axes soient alignés avec des concepts connus», Zhi Chen, l’un des chercheurs qui a réalisé l’étude , a déclaré Tech Xplore. « Un tel démêlage peut nous permettre de mieux comprendre comment le réseau apprend progressivement les concepts sur plusieurs couches. Il concentre également toutes les informations sur un concept (par exemple, » lampe « , » lit « ou » personne « ) pour passer uniquement par un neurone, c’est ce que l’on entend par démêlage. « 

Dans un premier temps, la technique mise au point par Rudin et ses collègues démêle l’espace latent d’un réseau de neurones afin que ses axes soient alignés sur des concepts connus. Essentiellement, il effectue une «transformation de blanchiment», qui ressemble à la manière dont un signal est transformé en bruit blanc. Cette transformation décorrèle l’espace latent. Par la suite, une matrice de rotation associe stratégiquement différents concepts aux axes sans inverser cette décorrélation.

« CW peut être appliqué à n’importe quelle couche d’un NN pour gagner en interprétabilité sans nuire aux performances prédictives du modèle », a expliqué Rudin. « En ce sens, nous atteignons l’interprétabilité avec très peu d’effort, et nous ne perdons pas de précision sur la boîte noire. »

La nouvelle approche peut être utilisée pour augmenter l’interprétabilité des réseaux de neurones profonds pour la reconnaissance d’images sans affecter leurs performances et leur précision. De plus, il ne nécessite pas de puissance de calcul importante, ce qui facilite sa mise en œuvre sur une variété de modèles et l’utilisation d’une plus large gamme d’appareils.

« En regardant le long des axes des couches antérieures du réseau, nous pouvons également voir comment cela crée des abstractions de concepts », a déclaré Chen. « Par exemple, dans la deuxième couche, un avion apparaît comme un objet gris sur un fond bleu (qui peut inclure des images de créatures marines). Les réseaux de neurones n’ont pas beaucoup de pouvoir expressif dans la deuxième couche seulement, c’est donc intéressant pour comprendre comment il exprime un concept complexe comme «avion» dans cette couche. « 

Le concept pourrait bientôt permettre aux chercheurs dans le domaine de l’apprentissage profond d’effectuer un dépannage sur les modèles qu’ils développent et de mieux comprendre si les processus derrière les prédictions d’un modèle peuvent être fiables ou non. De plus, augmenter l’interprétabilité des réseaux de neurones profonds pourrait aider à révéler les problèmes possibles avec les ensembles de données de formation, permettant aux développeurs de résoudre ces problèmes et d’améliorer encore la fiabilité d’un modèle.

«À l’avenir, au lieu de nous fier à des concepts prédéfinis, nous prévoyons de découvrir les concepts de l’ensemble de données, en particulier les concepts non définis utiles qui restent à découvrir», a ajouté Chen. « Cela nous permettrait alors de représenter explicitement ces concepts découverts dans l’espace latent des réseaux de neurones, de manière démêlée, pour augmenter l’interprétabilité. »

Fourni par Science X Network

© Réseau Science X 2021