La reciente investigación en explicabilidad de Anthropic ha proporcionado a los investigadores una nueva forma de observar la actividad inte...
La reciente investigación en explicabilidad de Anthropic ha proporcionado a los investigadores una nueva forma de observar la actividad interna de Claude. Mediante un método llamado lente jacobiana (o J-lens), el equipo de investigación identificó un conjunto pequeño y verbalizable de representaciones internas, conocido como J-Space.
Este hallazgo es significativo. Sugiere que ciertos conceptos dentro de los modelos de lenguaje pueden utilizarse de manera global para informar, razonar y controlar el comportamiento. Los investigadores pueden observar estas representaciones e intervenir sobre ellas en experimentos controlados para probar si tienen un impacto causal en las salidas del modelo.
Pero observar una representación interna no equivale a explicarla por completo.
Un estado de activación legible puede indicarnos que el modelo está rastreando un concepto, como contar, engañar, Francia o completar. Pero no nos dice automáticamente: ¿por qué es relevante ese concepto? ¿Es fiable la información subyacente? ¿Qué hechos externos respaldan la conclusión? ¿O si la decisión final es razonable?
Esta distinción apunta a un enfoque más amplio de la IA explicable. No es necesario considerar el estado interno del modelo como el único objeto a interpretar; también podemos examinar la información que procesa el modelo: de dónde proviene, cómo está estructurada, qué conceptos y relaciones utiliza, cómo fluye la evidencia a través del sistema y cómo la salida final se conecta con sistemas de conocimiento externos.
Aquí es donde la ingeniería ontológica entra en juego.
El artículo de Anthropic “Representaciones verbalizables constituyen un espacio de trabajo global en modelos de lenguaje” introduce el concepto de J-Space tomando prestada la teoría del espacio de trabajo global de la ciencia cognitiva.
En neurociencia y ciencia cognitiva, el espacio de trabajo global se describe a menudo como un escenario de capacidad limitada donde la información seleccionada puede ser ampliamente accesible para múltiples procesos cognitivos. Anthropic descubrió que un subconjunto pequeño y disperso de las representaciones internas de Claude parece desempeñar un papel funcionalmente similar.
Los investigadores utilizaron vectores J-lens asociados con elementos léxicos para examinar los estados internos del modelo. Sus experimentos muestran que la información representada en J-Space puede:
Estos resultados avanzan un paso más allá de la simple observación del comportamiento de salida en términos de explicabilidad. Proporcionan un método para probar la función de ciertas representaciones internas.
Anthropic aborda esto con cautela.
No se puede afirmar que Claude replica la arquitectura cognitiva completa del cerebro humano o posee conciencia subjetiva. J-Space es una estructura funcional dentro de un sistema matemático, no evidencia de una actividad mental similar a la humana.
Esta precaución es crucial, porque la similitud funcional puede confundirse fácilmente con la equivalencia psicológica.
Un modelo puede contener un espacio de trabajo interno compartido sin poseer sensaciones, experiencias, intenciones o conciencia en el sentido humano. Un patrón de activación correspondiente a la palabra “miedo” no es miedo en sí mismo, sino un estado computacional que participa en la generación de comportamiento.
J-Space pertenece a una tradición amplia de explicabilidad cuyo punto de partida es una pregunta:
¿Qué está sucediendo dentro del modelo?
Este enfoque internalista examina patrones de activación, circuitos, características, patrones de atención, representaciones y rutas causales, con el objetivo de hacer más observables y comprobables los mecanismos ocultos de las redes neuronales.
Este trabajo tiene un valor claro y puede ayudar a los investigadores a:
Su limitación no radica en que la explicabilidad interna sea inútil, sino en que la visibilidad interna solo cubre un nivel de la explicación.
Un patrón neuronal puede estar asociado con una respuesta, pero no resuelve la cuestión del significado y la base de esa respuesta.
Supongamos que el modelo dice “París es la capital de Francia”. La detección interna podría identificar representaciones relacionadas con París, Francia, geografía y capital, pero varias preguntas externas quedan sin respuesta:
Estas preguntas no residen completamente dentro de los patrones de activación, sino que se refieren a la relación entre las representaciones del modelo y los hechos externos, el lenguaje, los conceptos humanos y los estándares de razonamiento.
La explicabilidad orientada a la ingeniería a menudo sostiene que un sistema es explicable cuando los investigadores pueden observar e intervenir en sus mecanismos internos.
Esta definición, aunque útil, es demasiado estrecha.
En filosofía de la ciencia y epistemología, la explicación puede requerir además proporcionar:
J-Space puede revelar qué información se activa en una tarea determinada, pero por sí mismo no puede determinar si esa información es verdadera, relevante, ética o suficiente para justificar el resultado.
Por lo tanto, la cuestión más profunda radica en—
No solo en que la red neuronal en sí misma sea opaca, sino en que la información que rodea a estos sistemas a menudo está mal estructurada y es difícil de rastrear.
Los grandes modelos de lenguaje son sistemas de procesamiento de información. Reciben texto, imágenes, archivos, respuestas de herramientas, resultados de bases de datos y otras señales, y generan información como respuesta.
El significado de estas entradas y salidas depende de relaciones externas al modelo.
Un término médico se refiere a un concepto clínico, un identificador corporativo corresponde a una entidad legal, una regla política pertenece a una jurisdicción y período de validez específicos, un número financiero incluye fuente, unidad, fecha y definición contable, y una afirmación científica depende de evidencia, métodos y supuestos.
Si estas relaciones no se presentan explícitamente, el modelo debe inferirlas a través del lenguaje y el contexto. Esto a veces funciona, pero otras veces genera ambigüedad, contradicción, alucinaciones o respuestas que parecen razonables pero no son auditables.
El enfoque de explicabilidad centrado en la información plantea, por tanto, las siguientes preguntas:
Esto expande el objeto de la explicabilidad de la red neuronal a todo el entorno informativo en el que opera el modelo.
Este entorno incluye:
Un modelo puede ser internamente explicable pero seguir operando con información mal definida o no fiable. A la inversa, los mecanismos del modelo pueden ser opacos, pero ser altamente rastreables porque cada afirmación está vinculada a evidencia estructurada y reglas explícitas.
Los sistemas más potentes probablemente combinarán ambas formas de transparencia.
El término ontología tiene dos significados relacionados.
En filosofía, la ontología estudia la naturaleza del ser y cómo se clasifican las cosas. En informática, la ontología es una formalización de entidades, categorías, atributos, relaciones y restricciones dentro de un dominio.
El artículo fuente vincula la explicabilidad de la IA con la teoría de las categorías de Immanuel Kant.
Kant sostenía que la comprensión humana no recibe simplemente datos sensoriales en bruto, sino que organiza la experiencia a través de formas conceptuales. Agrupó doce categorías en:
El artículo utiliza este marco para exponer una idea más amplia: la información solo se vuelve comprensible cuando se organiza dentro de una estructura conceptual.
Esta imagen está estrechamente relacionada con el contexto.
El contexto menciona las doce categorías de Kant, y este diagrama presenta estas cuatro categorías de forma visual, en consonancia con la introducción a la teoría kantiana en el artículo. Para un sistema de inteligencia artificial, el significado práctico no radica en que el modelo lingüístico deba poseer realmente las doce categorías de Kant. La idea más útil es que la explicabilidad requiere un marco compartido para identificar los tipos de cosas sobre las que el modelo está discutiendo y los tipos de relaciones que afirma.
Por ejemplo, considere la siguiente oración:
El sistema rechazó la solicitud porque el solicitante no cumplió con los requisitos de ingresos.
Una explicación útil no puede depender únicamente de mapas de activación. Puede necesitar identificar:
Una ontología puede definir formalmente estos elementos y relaciones.
Proporciona una estructura semántica que permite interpretar, verificar y cuestionar las salidas del modelo.
Una ontología de dominio bien diseñada puede especificar:
Esta estructura crea un sistema de coordenadas semántico estable.
Los evaluadores no necesitan decir que el modelo "parece entender la causalidad", sino que pueden preguntar si la salida contiene una relación causal bien definida, si las entidades involucradas están correctamente identificadas y si la evidencia citada respalda dicha relación.
Esto no hace que cada decisión del modelo sea automáticamente correcta, pero hace que la información utilizada en la decisión sea más fácil de verificar.
La ontología filosófica proporciona conceptos. La ingeniería ontológica transforma estos conceptos en sistemas utilizables por el software.
En la práctica, la ingeniería ontológica implica definir el dominio, recopilar requisitos, identificar conceptos, modelar relaciones, formalizar restricciones, probar la coherencia, documentar fuentes y mantener la ontología a medida que el dominio cambia.
El desarrollo ontológico tradicional suele ser costoso y lento, ya que depende en gran medida de expertos en el dominio e ingenieros del conocimiento.
Los grandes modelos de lenguaje pueden acelerar múltiples etapas del proceso.
Pueden ayudar a:
Esto forma una relación bidireccional.
Los modelos lingüísticos pueden acelerar la construcción de ontologías, mientras que las ontologías pueden hacer que los sistemas de modelos lingüísticos sean más estructurados, verificables y trazables.
Los expertos en el dominio pueden proporcionar docenas de informes, políticas, manuales, esquemas de bases de datos y vocabularios. Un LLM puede escanear estos materiales y generar un primer borrador de conceptos y relaciones.
Por ejemplo, podría identificar que:
Esto puede reducir el trabajo de descubrimiento manual.
Sin embargo, los resultados aún deben ser revisados por expertos en el dominio. Los modelos lingüísticos pueden inventar relaciones, fusionar conceptos que deberían permanecer separados o reproducir inconsistencias de los documentos fuente.
Por lo tanto, la ingeniería ontológica asistida por LLM debe considerarse como modelado de conocimiento bajo supervisión humana, no como una extracción automática de la verdad.
La ontología puede apoyar las aplicaciones de modelos lingüísticos de múltiples maneras.
La ontología proporciona al modelo un vocabulario controlado y relaciones explícitas. Esto puede reducir la ambigüedad durante la recuperación y la generación.
El sistema puede conectar el lenguaje del usuario con entidades estándar, identificar sinónimos y realizar recuperación de información basada en el significado, no solo en palabras superficiales.
Las salidas pueden verificarse contra las restricciones de la ontología. Por ejemplo, una dosis médica puede requerir una unidad, una transacción debe incluir una cuenta, o una decisión política debe citar una regla válida.
Los razonadores y sistemas de validación pueden detectar clasificaciones incompatibles, atributos faltantes o contradicciones en datos estructurados.
Describe tu idea una vez y We0 AI puede generar un sitio de presentacion, paginas y CMS, y ayudarte a atraer clientes y trafico tras el lanzamiento.
Una generación completa de proyectos para registro gratuito
Lo mejor para probar un flujo de generación completo y ver rápidamente el primer borrador del proyecto.
Las afirmaciones generadas pueden vincularse a documentos fuente, conceptos ontológicos, reglas y versiones. Esto hace que la revisión sea más práctica que exigir a los usuarios que confíen en explicaciones opacas generadas a posteriori.
La ontología puede actuar como un contrato semántico entre el LLM, las bases de datos, las herramientas, las aplicaciones empresariales y los equipos humanos.
El modelo permanece flexible en el lenguaje, mientras que los sistemas circundantes mantienen una representación controlada de conceptos clave.
El valor de una explicación del modelo aumenta significativamente cuando se presenta como una cadena de trazabilidad:
Esto difiere de pedir al modelo que genere párrafos fluidos describiendo "por qué" dio una respuesta.
Las explicaciones generadas pueden tener sesgos. Las cadenas de trazabilidad ancladas en conocimiento estructurado pueden ser examinadas de forma independiente.
Las ontologías tradicionales suelen estar diseñadas para motores de razonamiento formal, con abundantes axiomas complejos construidos para soportar el razonamiento simbólico determinista.
Las ontologías para grandes modelos de lenguaje pueden necesitar un equilibrio diferente.
La ontología aún debe ser precisa, pero debe ser más fácil de recuperar, citar y aplicar para el modelo.
El documento fuente propone que las ontologías amigables para la IA deben centrarse en proporcionar un esqueleto semántico claro, en lugar de intentar codificar todos los pasos de razonamiento posibles.
Este modelo de división del trabajo es valioso:
Este enfoque evita dos extremos.
El primer extremo son los flujos de trabajo completamente no estructurados de modelos lingüísticos, que definen conceptos importantes solo a través de indicaciones y documentos. El segundo extremo son los sistemas simbólicos sobreingenierizados que intentan formalizar cada detalle, volviéndolos difíciles de mantener.
Las ontologías amigables para la IA deben perseguir los siguientes objetivos:
Cada clase y relación importante debe tener una descripción concisa e inequívoca.
Las entidades y conceptos clave deben usar identificadores canónicos, no solo nombres.
Las definiciones, hechos y reglas deben registrar su fuente, propietario, versión y período de validez.
Los conceptos deben incluir etiquetas legibles por humanos, descripciones, sinónimos y ejemplos de uso.
La ontología debe dividirse en módulos manejables, facilitando que el modelo recupere solo las partes relevantes.
Los datos y salidas de alto valor deben verificarse mediante restricciones explícitas (como formas SHACL o validadores a nivel de aplicación).
Dado que los cambios en la ontología pueden afectar el comportamiento del modelo, las actualizaciones deben ser revisadas, versionadas y probadas.
Las aplicaciones deben mantener un registro de los conceptos y hechos proporcionados al modelo.
La ontología debe identificar escenarios donde las reglas son incompletas, los conceptos son ambiguos o se requiere aprobación humana.
Es necesario.
La capa semántica solo tiene valor si se mantiene.
Una ontología obsoleta puede hacer que un sistema cometa errores de forma repetida, aunque parezca altamente organizado.
El debate sobre J-Space pone de relieve dos objetivos diferentes.
El primero es explicar el modelo en sí mismo: sus representaciones internas, circuitos, cálculos y mecanismos de comportamiento.
El segundo es explicar el impacto del modelo: qué información moldea los resultados, qué reglas autorizan las acciones, qué evidencia respalda los resultados y quién puede revisarlos o cuestionarlos.
Estos objetivos se superponen, pero no son idénticos.
La explicabilidad mecánica puede revelar que un modelo ya ha representado internamente un engaño antes de generar una salida engañosa. El rastreo basado en ontologías puede revelar qué afirmación es falsa, qué fuente la refuta y qué proceso posterior se ha visto afectado.
El primero ayuda a los investigadores a comprender el comportamiento interno. El segundo ayuda a las organizaciones a gobernar las consecuencias en el mundo real.
Por lo tanto, un esquema completo de explicabilidad puede incluir múltiples niveles:
La ingeniería ontológica fortalece principalmente las capas de información y del sistema. También puede apoyar el análisis de impacto y la gobernanza al aclarar conceptos, reglas y fuentes.
No reemplaza la explicabilidad neuronal.
Un grafo de conocimiento estructurado no puede revelar los objetivos ocultos incrustados en los pesos del modelo. J-Space no puede probar que un documento fuente sea autoritario o que las reglas de negocio sean justas.
Ambos métodos abordan diferentes partes del problema.
La metáfora de abrir la caja negra de la IA puede establecer un objetivo poco realista: la transparencia total, hasta cada peso y cálculo interno.
Para los modelos de vanguardia, esto puede que nunca sea tan factible como se imagina.
Un objetivo más alcanzable es hacer que las operaciones del sistema sean lo suficientemente comprensibles, rastreables, comprobables y gobernables en su contexto de uso.
Esto significa diseñar sistemas que requieran:
Cuando sea técnicamente factible, utilizaremos medios de monitoreo.
El cambio fundamental es este: ya no tratar la explicabilidad como un problema singular de visualización, sino abordarlo como un problema de ingeniería y gobernanza.
Quizás nunca podamos traducir por completo cada cálculo de una red neuronal en una historia humana comprensible. Pero aún podemos construir una arquitectura de información que haga que aquellos resultados de gran impacto sean más fáciles de entender y cuestionar.
La ingeniería ontológica traduce este objetivo en trabajo concreto:
Esto no es tan llamativo como "leer la mente del modelo", pero puede ser más útil en la producción real.
El artículo original en chino concluye con una mención promocional de LegionSpace (un producto relacionado con Dunfu). La fuente lo describe como una infraestructura de IA empresarial construida en torno a la ingeniería ontológica y el razonamiento rastreable.
Esta adaptación no ha evaluado de forma independiente estas afirmaciones del producto, por lo que no las utiliza como evidencia para un argumento más amplio.
La lección relevante es universal: cualquier plataforma que afirme proporcionar explicabilidad basada en ontologías debe evaluarse mediante preguntas específicas.
Un producto no debe considerarse explicable solo porque utiliza un grafo de conocimiento o muestra un gráfico de razonamiento.
J-Space es el nombre que Anthropic le ha dado a un pequeño subconjunto de representaciones internas identificadas a través de la lente jacobiana. La investigación sugiere que estas representaciones pueden contener conceptos verbalizables que pueden usarse para informes, razonamiento e intervención causal.
No. Anthropic no afirma que sus modelos reproduzcan la conciencia humana o la experiencia subjetiva. J-Space muestra similitudes funcionales parciales con la teoría del espacio de trabajo global, pero las analogías funcionales no son evidencia de una mente similar a la humana.
Las herramientas internas pueden mostrar qué representaciones o mecanismos influyeron en el comportamiento, pero no pueden determinar automáticamente si la información del modelo es verdadera, de fuente confiable, relevante o razonable. La explicabilidad también requiere evidencia, definiciones semánticas, fuentes, reglas y una explicación del impacto en el mundo real.
La ontología
La ingeniería ontológica es la práctica de formalizar la definición de entidades, categorías, propiedades, relaciones y restricciones dentro de un dominio. En los sistemas de software, las ontologías suelen representarse en estándares como RDF y OWL, y pueden validarse mediante SHACL.
Las ontologías proporcionan conceptos estandarizados y relaciones claras que pueden anclar los procesos de recuperación, generación y verificación. Ayudan a vincular las afirmaciones con conceptos definidos, evidencia de apoyo, reglas formales y versiones documentadas.
Los modelos de lenguaje grandes pueden acelerar la extracción de conceptos, el descubrimiento de relaciones, el mapeo y la redacción de documentos, pero sus sugerencias requieren revisión de expertos. La generación ontológica totalmente automática puede reproducir errores de datos fuente, fusionar conceptos diferentes o crear relaciones sin fundamento.
No. Las ontologías pueden restringir las salidas importantes y mejorar la rastreabilidad, pero no pueden eliminar todos los errores del modelo. Los sistemas fiables también necesitan control de calidad en la recuperación, verificación, pruebas, gestión de permisos, monitoreo y revisión humana.
Abordan diferentes aspectos de la explicabilidad y es mejor utilizarlas como complementos. La explicabilidad mecánica estudia el comportamiento interno del modelo, mientras que la ingeniería ontológica hace que la información, las reglas y las trayectorias de decisión externas sean más fáciles de revisar.
Eclipse RDF4J: Un marco de trabajo modular en Java para crear, almacenar, consultar, inferir y validar datos RDF.
La investigación de J-Space de Anthropic representa un avance significativo en el campo de la interpretabilidad mecánica. Proporciona a los investigadores un nuevo método para observar y probar causalmente un pequeño conjunto de representaciones internalizables en Claude.
Este estudio no resuelve el problema más amplio de la interpretabilidad. Comprender un sistema de IA también requiere dilucidar la información que utiliza, el significado de los conceptos, la evidencia detrás de las afirmaciones, las reglas que rigen su comportamiento y el impacto de sus resultados.
La ingeniería de ontologías ofrece un camino viable para formalizar estas estructuras externas. Puede apoyar la recuperación semántica, la validación, el rastreo de origen, el seguimiento y la rendición de cuentas, especialmente cuando se combina con la revisión humana y la investigación de interpretabilidad interna.
La verdadera clave de la IA explicable quizás no radica en elegir entre "abrir el modelo" o "construir un marco externo del mundo", sino en aprender a hacer ambas cosas.
Empieza con una sola frase y obtén un sitio completo en minutos.
