Les récentes recherches d’Anthropic sur l’explicabilité offrent aux chercheurs une nouvelle méthode pour observer l’activité interne de Clau...
Les récentes recherches d’Anthropic sur l’explicabilité offrent aux chercheurs une nouvelle méthode pour observer l’activité interne de Claude. Grâce à une approche appelée lentille jacobienne (ou J-lens), l’équipe de recherche a identifié un ensemble restreint de représentations internes linguistiquement exprimables, appelé J-Space.
Cette découverte est significative. Elle montre que certains concepts au sein des modèles de langage peuvent être utilisés de manière globale pour le reporting, le raisonnement et le contrôle comportemental. Les chercheurs peuvent observer ces représentations et les manipuler dans des expériences contrôlées pour tester si elles ont un impact causal sur les sorties du modèle.
Mais observer une représentation interne ne signifie pas l’expliquer complètement.
Un état d’activation lisible peut nous dire que le modèle suit un concept, comme compter, tromper, la France ou terminer. Mais cela ne nous dit pas automatiquement : pourquoi ce concept est-il pertinent ? Les informations sous-jacentes sont-elles fiables ? Quels faits externes soutiennent la conclusion ? Ou encore, la décision finale est-elle raisonnable ?
Cette distinction pointe vers une approche plus large de l’IA explicable. Au lieu de considérer les états internes du modèle comme le seul objet à expliquer, nous pouvons également examiner les informations traitées par le modèle : d’où viennent-elles, comment sont-elles constituées, quels concepts et relations sont utilisés, comment les preuves circulent dans le système, et comment la sortie finale se connecte à un système de connaissances externe.
C’est précisément là que l’ingénierie ontologique entre en jeu.
L’article d’Anthropic, « Les représentations linguistiquement exprimables constituent un espace de travail global dans les modèles de langage », introduit le concept J-Space en s’appuyant sur la théorie de l’espace de travail global issue des sciences cognitives.
En neuroscience et sciences cognitives, l’espace de travail global est souvent décrit comme une scène à capacité limitée où les informations sélectionnées sont largement accessibles à divers processus cognitifs. Anthropic a découvert qu’un sous-ensemble petit et clairsemé des représentations internes de Claude semble jouer un rôle fonctionnellement similaire.
Les chercheurs ont utilisé des vecteurs J-lens associés à des lexèmes pour examiner les états internes du modèle. Leurs expériences montrent que les informations représentées dans J-Space peuvent :
Ces résultats font progresser l’explicabilité de la simple observation des comportements de sortie. Ils fournissent une méthode pour tester la fonctionnalité de certaines représentations internes.
Anthropic reste prudent à cet égard.
On ne peut prétendre que Claude reproduit l’architecture cognitive complète du cerveau humain ou possède une conscience subjective. J-Space est une structure fonctionnelle dans un système mathématique, non une preuve d’activité mentale humaine.
Cette prudence est cruciale, car une similarité fonctionnelle peut facilement être confondue avec une équivalence psychique.
Un modèle peut contenir un espace de travail interne partagé sans posséder de sentiments, d’expériences, d’intentions ou de conscience au sens humain. Le motif d’activation associé au mot « peur » n’est pas la peur elle-même, mais un état computationnel participant à la génération de comportements.
J-Space appartient à une tradition large de l’explicabilité, dont le point de départ est une question :
Que se passe-t-il à l’intérieur du modèle ?
Cette approche internaliste examine les motifs d’activation, les circuits, les caractéristiques, les motifs d’attention, les représentations et les chemins causaux. Son objectif est de rendre les mécanismes cachés des réseaux neuronaux plus observables et testables.
Ce travail a une valeur claire, aidant les chercheurs à :
Sa limite n’est pas que l’explicabilité interne soit inutile, mais que la visibilité interne ne couvre qu’un seul niveau de l’explication.
Un motif neuronal peut être associé à une réponse sans résoudre la question de sa signification et de son fondement.
Supposons que le modèle dise « Paris est la capitale de la France ». La détection interne pourrait identifier des représentations liées à Paris, à la France, à la géographie et à la capitale, mais plusieurs questions externes restent en suspens :
Ces questions ne résident pas entièrement dans les motifs d’activation, mais concernent la relation entre les représentations du modèle et les faits externes, le langage, les concepts humains et les critères de justification.
L’explicabilité orientée ingénierie considère souvent qu’un système est explicable lorsque les chercheurs peuvent observer et manipuler ses mécanismes internes.
Cette définition, bien qu’utile, est trop étroite.
En philosophie des sciences et en épistémologie, l’explication peut également nécessiter de fournir :
J-Space peut révéler quelles informations sont activées dans une tâche, mais ne peut en lui-même déterminer si ces informations sont vraies, pertinentes, éthiques ou suffisantes pour justifier le résultat.
Ainsi, la question plus profonde est la suivante :
Ce n’est pas seulement que les réseaux neuronaux eux-mêmes sont opaques, mais que les informations entourant ces systèmes sont souvent mal structurées et difficiles à tracer.
Les grands modèles de langage sont des systèmes de traitement de l’information. Ils reçoivent du texte, des images, des fichiers, des réponses d’outils, des résultats de bases de données et d’autres signaux, puis génèrent des informations en réponse.
La signification de ces entrées et sorties dépend des relations extérieures au modèle.
Un terme médical renvoie à un concept clinique, un identifiant d’entreprise correspond à une entité légale, une règle politique appartient à une juridiction et une période de validité spécifiques, des chiffres financiers incluent des sources, des unités, des dates et des définitions comptables, et une affirmation scientifique repose sur des preuves, des méthodes et des hypothèses.
Si ces relations ne sont pas explicitement présentées, le modèle doit les déduire à travers le langage et le contexte. Cela fonctionne parfois, mais peut aussi produire ambiguïté, contradictions, hallucinations, ou des réponses qui semblent raisonnables mais ne peuvent être auditées.
Une approche de l’explicabilité centrée sur l’information pose donc les questions suivantes :
Cela étend l’objet de l’explicabilité du réseau neuronal à l’ensemble de l’environnement informationnel dans lequel le modèle opère.
Cet environnement comprend :
Un modèle peut être interne explicable mais fonctionner sur des informations mal définies ou peu fiables. Inversement, les mécanismes d’un modèle peuvent être opaques, mais son résultat peut être hautement traçable car chaque affirmation est liée à des preuves structurées et des règles explicites.
Les systèmes les plus puissants combineront probablement ces deux formes de transparence.
Le terme ontologie a deux significations connexes.
En philosophie, l’ontologie traite de la question de l’existence et de la manière de classer les choses. En informatique, une ontologie est une formalisation des entités, catégories, propriétés, relations et contraintes dans un domaine.
L’article source relie l’explicabilité de l’IA à la théorie des catégories d’Emmanuel Kant.
Kant soutenait que la compréhension humaine ne se contente pas de recevoir des données sensorielles brutes, mais organise l’expérience à travers des formes conceptuelles. Il a réduit douze catégories à :
L’article utilise ce cadre pour illustrer un point plus large : l’information ne devient compréhensible qu’après avoir été organisée par une structure conceptuelle.
Cette image est étroitement liée au contexte.
Le contexte mentionne les douze catégories de Kant, et ce diagramme présente ces quatre catégories de manière visuelle, en écho à l'introduction de la théorie kantienne dans l'article. Pour un système d'intelligence artificielle, l'intérêt pratique ne réside pas dans l'obligation pour le modèle de langage de posséder réellement les douze catégories de Kant. L'idée la plus utile est la suivante : l'explicabilité nécessite un cadre partagé pour identifier le type d'entités que le modèle traite et le type de relations qu'il affirme.
Par exemple, considérons la phrase suivante :
Le système a rejeté la demande car le requérant ne satisfaisait pas aux exigences de revenu.
Une explication utile ne peut pas se contenter de s'appuyer sur une carte d'activation. Elle doit peut-être identifier :
Une ontologie peut définir formellement ces éléments et ces relations.
Elle fournit une structure sémantique permettant d'interpréter, de vérifier et de contester la sortie du modèle.
Une ontologie de domaine bien conçue peut spécifier :
Cette structure crée un système de coordonnées sémantiques stable.
L'évaluateur n'a pas besoin de dire que le modèle « semble comprendre la causalité », mais peut demander si la sortie contient une relation de cause à effet bien définie, si les entités impliquées sont correctement identifiées et si les preuves citées soutiennent cette relation.
Cela ne rend pas chaque décision du modèle automatiquement correcte, mais rend l'information utilisée dans la décision plus facile à vérifier.
L'ontologie philosophique fournit des concepts. L'ingénierie ontologique transforme ces concepts en systèmes utilisables par les logiciels.
En pratique, l'ingénierie ontologique implique la définition du domaine, la collecte des exigences, l'identification des concepts, la modélisation des relations, la formalisation des contraintes, les tests de cohérence, la documentation des sources et la maintenance de l'ontologie lorsque le domaine évolue.
Le développement ontologique traditionnel est souvent coûteux et lent, car il dépend fortement d'experts du domaine et d'ingénieurs de la connaissance.
Les modèles de langage peuvent accélérer plusieurs phases du processus.
Ils peuvent aider à :
Cela crée une relation bidirectionnelle.
Les modèles de langage peuvent accélérer la construction d'ontologies, tandis que les ontologies peuvent rendre les systèmes de modèles de langage plus structurés, vérifiables et traçables.
Les experts du domaine peuvent fournir des dizaines de rapports, politiques, manuels, schémas de bases de données et vocabulaires. Un LLM peut analyser ces documents et générer une première liste de concepts et de relations.
Par exemple, il pourrait identifier que :
Cela peut réduire le travail de découverte manuelle.
Cependant, les résultats doivent encore être examinés par des experts du domaine. Les modèles de langage peuvent inventer des relations, fusionner des concepts qui devraient rester distincts, ou reproduire des incohérences à partir des documents sources.
Par conséquent, l'ingénierie ontologique assistée par LLM doit être considérée comme une modélisation des connaissances sous supervision humaine, et non comme une extraction automatique de la vérité.
Les ontologies peuvent soutenir les applications de modèles de langage de plusieurs manières.
L'ontologie fournit au modèle un vocabulaire contrôlé et des relations explicites. Cela peut réduire l'ambiguïté lors de la récupération et de la génération.
Le système peut relier le langage de l'utilisateur à des entités standard, identifier des synonymes, et effectuer des recherches d'informations basées sur la signification plutôt que sur les mots de surface.
Les sorties peuvent être vérifiées par rapport aux contraintes de l'ontologie. Par exemple, un dosage médical doit avoir une unité, une transaction doit inclure un compte, ou une décision politique doit se référer à une règle valide.
Decrivez votre idee une fois, et We0 AI peut generer un site vitrine, des pages et un CMS, puis vous aider a attirer clients et trafic apres le lancement.
Une génération de projet complète pour une inscription gratuite
Idéal pour essayer un flux de génération complet et voir rapidement une première ébauche de projet.
Les raisonneurs et les systèmes de validation peuvent détecter des classifications incompatibles, des attributs manquants ou des contradictions dans les données structurées.
Les déclarations générées peuvent être liées aux documents sources, aux concepts de l'ontologie, aux règles et aux versions. Cela rend l'examen plus pratique que d'exiger de l'utilisateur qu'il se fie à des explications opaques générées a posteriori.
L'ontologie peut servir de contrat sémantique entre le LLM, les bases de données, les outils, les applications métier et les équipes humaines.
Le modèle reste flexible sur le plan linguistique, tandis que les systèmes environnants conservent une représentation contrôlée des concepts clés.
La valeur d'une explication de modèle augmente considérablement lorsqu'elle peut être présentée sous la forme d'une chaîne de traçabilité :
Cela diffère d'une approche où l'on demande au modèle de générer un paragraphe fluide décrivant le "pourquoi" de sa réponse.
L'explication générée peut elle-même être biaisée. Une chaîne de traçabilité ancrée dans des connaissances structurées peut être examinée indépendamment.
Les ontologies traditionnelles sont souvent conçues pour des moteurs de raisonnement formels, avec des axiomes complexes construits pour soutenir un raisonnement symbolique déterminé.
Les ontologies destinées aux grands modèles de langage peuvent nécessiter un équilibre différent.
L'ontologie doit rester précise, mais doit être plus facile à récupérer, à référencer et à appliquer pour le modèle.
Le document source propose : une ontologie adaptée à l'IA doit se concentrer sur la fourniture d'un squelette sémantique clair, plutôt que d'essayer de coder toutes les étapes de raisonnement possibles.
Cette division du travail est précieuse :
Cette approche évite deux extrêmes.
Le premier extrême est un flux de travail de modèle de langage entièrement non structuré, où les concepts importants sont définis uniquement par des invites et des documents. Le second extrême est un système symbolique sur-ingénierisé qui tente de formaliser chaque détail, le rendant difficile à maintenir.
Une ontologie adaptée à l'IA devrait viser les objectifs suivants :
Chaque catégorie et relation importante doit avoir une description concise et sans ambiguïté.
Les entités et concepts clés doivent utiliser des identifiants canoniques, et non se fier uniquement aux noms.
Les définitions, faits et règles doivent enregistrer leur source, propriétaire, version et période de validité.
Les concepts doivent inclure des étiquettes, descriptions, synonymes et exemples d'utilisation lisibles par l'humain.
L'ontologie doit être divisée en modules gérables, permettant au modèle de ne récupérer que les parties pertinentes.
Les données et sorties à haute valeur doivent être vérifiées via des contraintes explicites (comme les formes SHACL ou des validateurs au niveau de l'application).
Étant donné que les changements d'ontologie peuvent affecter le comportement du modèle, les mises à jour doivent être examinées, versionnées et testées.
Les applications doivent conserver un enregistrement des concepts et faits fournis au modèle.
L'ontologie doit identifier les scénarios où les règles sont incomplètes, les concepts sont ambigus, ou une approbation humaine est nécessaire.
Nécessaire.
Une couche sémantique n'a de valeur que si elle est maintenue.
Des ontologies obsolètes peuvent amener un système à commettre des erreurs de manière répétée, sous une apparence de haute organisation.
Le débat autour de J-Space met en lumière deux objectifs distincts.
Le premier est d'expliquer le modèle lui-même : ses représentations internes, ses circuits, ses calculs et ses mécanismes comportementaux.
Le second est d'expliquer l'impact du modèle : quelles informations ont façonné la sortie, quelles règles ont autorisé une action, quelles preuves soutiennent un résultat, et qui peut l'examiner ou le contester.
Ces objectifs se chevauchent, mais ne sont pas identiques.
L'explicabilité mécaniste pourrait révéler qu'un modèle a représenté intérieurement la tromperie avant même de produire une sortie trompeuse. Une traçabilité fondée sur l'ontologie pourrait révéler quelle affirmation était fausse, quelle source l'a réfutée, et quel processus en aval a été affecté.
Le premier objectif aide les chercheurs à comprendre le comportement interne. Le second aide les organisations à gouverner les conséquences dans le monde réel.
Par conséquent, une solution d'explicabilité complète peut comporter plusieurs niveaux :
L'ingénierie ontologique renforce principalement les couches informationnelle et système. Elle peut également soutenir l'analyse d'impact et la gouvernance en clarifiant les concepts, les règles et les sources.
Elle ne remplace pas l'explicabilité neuronale.
Un graphe de connaissances structuré ne peut pas révéler les objectifs cachés encodés dans les poids du modèle. J-Space ne peut pas prouver qu'un document source est faisant autorité ou qu'une règle métier est équitable.
Les deux approches résolvent différentes parties du problème.
La métaphore de l'ouverture de la boîte noire de l'IA peut fixer un objectif irréaliste : une transparence totale, jusqu'au moindre poids et calcul interne.
Pour les modèles de pointe, cela pourrait ne jamais être aussi réalisable qu'on l'imagine.
Un objectif plus atteignable est de rendre le fonctionnement du système suffisamment compréhensible, traçable, testable et gouvernable dans son contexte d'utilisation.
Cela implique de concevoir des systèmes où :
Le changement fondamental est le suivant : ne plus traiter l'explicabilité comme un simple problème de visualisation, mais comme un problème d'ingénierie et de gouvernance.
Nous ne pourrons peut-être jamais traduire complètement chaque calcul de réseau de neurones en une histoire compréhensible par un humain. Mais nous pouvons néanmoins construire une architecture d'information qui rend les sorties à fort impact plus faciles à comprendre et à contester.
L'ingénierie ontologique traduit cet objectif en travail concret :
C'est moins spectaculaire que de « lire dans l'esprit du modèle », mais probablement plus utile dans la production réelle.
L'article chinois original se termine par une mention promotionnelle de LegionSpace (un produit lié à Tongfu Shield). La source le décrit comme une infrastructure d'IA d'entreprise construite autour de l'ingénierie ontologique et du raisonnement traçable.
Cette adaptation n'a pas évalué ces affirmations de manière indépendante et ne les utilise donc pas comme preuve pour un argument plus large.
La leçon pertinente est universelle : toute plateforme prétendant offrir une explicabilité basée sur une ontologie doit être évaluée à l'aide de questions spécifiques.
Un produit ne doit pas être considéré comme explicable simplement parce qu'il utilise un graphe de connaissances ou affiche un graphe de raisonnement.
J-Space est le nom donné par Anthropic à un petit sous-ensemble de représentations internes identifiées via la lentille Jacobienne. La recherche suggère que ces représentations peuvent contenir des concepts linguistiquement exprimables utilisables pour le rapport, le raisonnement et l'intervention causale.
Non. Anthropic ne prétend pas que son modèle reproduit la conscience humaine ou l'expérience subjective. J-Space montre des similitudes fonctionnelles partielles avec la théorie de l'espace de travail global, mais une analogie fonctionnelle n'est pas une preuve d'un esprit de type humain.
Les outils internes peuvent montrer quelles représentations ou mécanismes ont influencé le comportement, mais ils ne peuvent pas déterminer automatiquement si l'information du modèle est vraie, fiable, pertinente ou raisonnable. L'explicabilité nécessite également des preuves, des définitions sémantiques, des sources, des règles et un compte rendu de l'impact sur le monde réel.
L'ingénierie ontologique est la pratique de la définition formelle des entités, catégories, propriétés, relations et contraintes dans un domaine. Dans les systèmes logiciels, les ontologies sont souvent représentées à l'aide de normes comme RDF et OWL, et peuvent être validées via SHACL.
Une ontologie fournit des concepts normatifs et des relations explicites, ancrant les processus de recherche, de génération et de validation. Elle aide à relier les affirmations à des concepts définis, des preuves à l'appui, des règles formelles et des versions documentées.
Les grands modèles de langage peuvent accélérer l'extraction de concepts, la découverte de relations, le mappage et la rédaction de documentation, mais leurs suggestions nécessitent une révision par des experts. La génération automatique d'ontologies peut reproduire les erreurs des données sources, fusionner des concepts différents ou créer des relations sans fondement.
Non. Une ontologie peut contraindre les sorties importantes et améliorer la traçabilité, mais elle ne peut pas éliminer toutes les erreurs du modèle. Les systèmes fiables nécessitent également un contrôle qualité de la recherche, une validation, des tests, une gestion des autorisations, une surveillance et une révision humaine.
Elles traitent différents aspects de l'explicabilité et sont mieux utilisées comme compléments. L'explicabilité mécaniste étudie le comportement interne du modèle, tandis que l'ingénierie ontologique rend les informations externes, les règles et les chemins de décision plus faciles à examiner.
Eclipse RDF4J : Un framework Java modulaire pour créer, stocker, interroger, inférer et valider des données RDF.
La recherche J-Space d'Anthropic constitue une avancée majeure dans le domaine de l'interprétabilité mécaniste. Elle offre aux chercheurs une nouvelle méthode pour observer et tester causalement un petit nombre de représentations internes concrètes dans Claude.
Cette recherche ne résout pas le problème plus large de l'interprétabilité. Comprendre un système d'IA nécessite également d'élucider les informations qu'il utilise, la signification des concepts, les preuves sous-tendant ses affirmations, les règles régissant son comportement et l'impact de ses résultats.
L'ingénierie ontologique offre une voie viable pour formaliser ces structures externes. Elle peut soutenir la recherche sémantique, la validation, la traçabilité, le suivi et la responsabilité, surtout lorsqu'elle est combinée à un examen humain et à des recherches sur l'interprétabilité interne.
La véritable clé de l'IA interprétable ne réside peut-être pas dans le choix entre "ouvrir le modèle" ou "construire un cadre externe", mais dans la capacité à faire les deux.
Partez d’une phrase et obtenez un site complet en quelques minutes.
