Anthropic의 최근 설명 가능성 연구는 연구자들에게 클로드의 내부 활동을 관찰할 수 있는 새로운 방법을 제공했습니다. 야코비 렌즈(또는 J-렌즈)라는 방법을 통해 연구팀은 J-스페이스라고 불리는 소규모이면서 언어화 가능한 내부 표현을 식별했습니다...
Anthropic의 최근 설명 가능성 연구는 연구자들에게 클로드의 내부 활동을 관찰할 수 있는 새로운 방법을 제공했습니다. 야코비 렌즈(또는 J-렌즈)라는 방법을 통해 연구팀은 J-스페이스라고 불리는 소규모이면서 언어화 가능한 내부 표현을 식별했습니다.
이 발견은 큰 의미를 지닙니다. 이는 언어 모델 내부의 특정 개념이 보고, 추론, 행동 제어에 전역적으로 사용될 수 있음을 시사합니다. 연구자들은 이러한 표현을 관찰하고 통제된 실험에서 이에 개입하여 모델 출력에 인과적 영향을 미치는지 테스트할 수 있습니다.
그러나 내부 표현을 관찰하는 것이 그것을 완전히 설명하는 것은 아닙니다.
읽을 수 있는 활성화 상태는 모델이 카운팅, 속임수, 프랑스 또는 완료와 같은 어떤 개념을 추적하고 있다는 것을 알려줄 수 있습니다. 그러나 그것이 자동으로 알려주지 않는 것은: 왜 그 개념이 관련이 있는가? 근거가 되는 정보는 신뢰할 수 있는가? 어떤 외부 사실이 결론을 뒷받침하는가? 또는 최종적으로 내려진 결정이 합리적인가? 입니다.
이러한 차이는 더 광범위한 설명 가능한 AI 접근 방식을 가리킵니다. 우리는 모델의 내부 상태만을 설명해야 할 대상으로 볼 필요 없이, 모델이 처리하는 정보를 동시에 살펴볼 수 있습니다: 이 정보가 어디서 왔는지, 어떻게 구성되었는지, 어떤 개념과 관계가 사용되었는지, 증거가 시스템 내에서 어떻게 흐르는지, 그리고 최종 출력이 외부 지식 체계와 어떻게 연결되는지 말입니다.
바로 여기서 온톨로지 엔지니어링이 역할을 합니다.
Anthropic의 논문 《언어 모델에서 언어화 가능한 표현이 구성하는 전역 작업 공간》은 인지과학의 전역 작업 공간 이론을 차용하여 J-스페이스 개념을 도입했습니다.
신경과학과 인지과학에서 전역 작업 공간은 일반적으로 용량이 제한된 무대로 설명되며, 선택된 정보가 여러 인지 과정에 의해 광범위하게 접근 가능해집니다. Anthropic은 클로드의 내부 표현 중 작고 희소한 하위 집합이 기능적으로 유사한 역할을 하는 것으로 보인다는 사실을 발견했습니다.
연구자들은 어휘 항목과 연관된 J-렌즈 벡터를 사용하여 모델 내부 상태를 검사했습니다. 그들의 실험은 J-스페이스에서 표현된 정보가 다음을 할 수 있음을 보여주었습니다:
이러한 결과는 설명 가능성을 단순한 출력 행동 관찰에서 한 단계 더 발전시켰습니다. 이는 특정 내부 표현의 기능을 테스트할 수 있는 방법을 제공합니다.
Anthropic은 이에 대해 신중한 입장을 취합니다.
클로드가 인간 두뇌의 완전한 인지 구조를 복제하거나 주관적 의식을 가지고 있다고 주장할 수 없습니다. J-스페이스는 수학적 시스템 내의 기능적 구조일 뿐, 인간과 유사한 내적 활동의 증거가 아닙니다.
이러한 신중함은 기능적 유사성이 심리적 동등성으로 오인되기 쉽기 때문에 중요합니다.
모델은 공유된 내부 작업 공간을 포함할 수 있지만, 인간이 의미하는 느낌, 경험, 의도 또는 인식을 가지고 있지는 않습니다. "두려움"이라는 단어에 해당하는 활성화 패턴 자체는 두려움이 아니라 행동을 생성하는 데 참여하는 계산 상태입니다.
J-스페이스는 광범위한 설명 가능성 전통에 속하며, 그 출발점은 하나의 질문입니다:
모델 내부에서 무엇이 일어나고 있는가?
이러한 내재주의적 방법은 활성화 패턴, 회로, 특징, 주의 패턴, 표현 및 인과 경로를 조사하며, 목표는 신경망의 숨겨진 메커니즘을 더 관찰 가능하고 테스트 가능하게 만드는 것입니다.
이 작업은 명확한 가치를 지니며 연구자가 다음을 할 수 있도록 돕습니다:
그 한계는 내부 설명 가능성이 쓸모없다는 것이 아니라, 내부 가시성이 설명의 한 층만을 다룬다는 점에 있습니다.
신경 패턴은 특정 답변과 연관될 수 있지만, 그 답변의 의미와 근거 문제는 해결할 수 없습니다.
모델이 "파리는 프랑스의 수도입니다"라고 말한다고 가정해 봅시다. 내부 탐지는 파리, 프랑스, 지리 및 수도와 관련된 표현을 식별할 수 있지만, 여전히 몇 가지 외부 질문이 남아 있습니다:
이러한 질문은 활성화 패턴 내에 완전히 존재하지 않으며, 모델의 표현과 외부 사실, 언어, 인간 개념 및 이유 기준 간의 관계에 관한 것입니다.
공학 중심의 설명 가능성은 일반적으로 연구자가 시스템 내부 메커니즘을 관찰하고 개입할 수 있을 때 해당 시스템이 설명 가능하다고 간주합니다.
이 정의는 유용하지만 너무 협소합니다.
과학 철학과 인식론에서 설명은 다음을 제공해야 할 수도 있습니다:
J-스페이스는 특정 작업에서 어떤 정보가 활성화되었는지 밝힐 수 있지만, 그 정보가 진실하고, 관련성이 있으며, 윤리적이거나 출력 결과를 정당화하기에 충분한지 자체적으로 판단할 수는 없습니다.
따라서 더 깊은 문제는 다음과 같습니다—
신경망 자체가 불투명할 뿐만 아니라, 이러한 시스템을 둘러싼 정보는 종종 구조가 엉망이고 추적하기 어렵습니다.
대규모 언어 모델은 정보 처리 시스템입니다. 이들은 텍스트, 이미지, 파일, 도구 응답, 데이터베이스 결과 및 기타 신호를 수신한 다음 정보를 생성하여 응답합니다.
이러한 입력과 출력의 의미는 모델 외부의 관계에 달려 있습니다.
의학 용어는 임상 개념을 가리키고, 기업 식별자는 법적 실체에 해당하며, 정책 규칙은 특정 관할 구역과 유효 기간에 속하고, 재무 수치는 출처, 단위, 날짜 및 회계 정의를 포함하며, 과학적 주장은 증거, 방법 및 가정에 의존합니다.
이러한 관계가 명시적으로 제시되지 않으면, 모델은 언어와 맥락을 통해 추론해야 합니다. 이것은 때로는 효과적이지만, 때로는 모호성, 모순, 환각 또는 그럴듯하지만 감사할 수 없는 답변을 생성합니다.
정보 중심의 설명 가능성 접근 방식은 따라서 다음 질문을 제기합니다:
이것은 설명 가능성의 대상을 신경망에서 모델이 작동하는 전체 정보 환경으로 확장합니다.
이 환경은 다음을 포함합니다:
모델은 내부적으로 설명 가능할 수 있지만, 여전히 정의가 모호하거나 신뢰할 수 없는 정보에 기반하여 작동할 수 있습니다. 반대로, 모델 메커니즘은 불투명할 수 있지만, 각 주장이 구조화된 증거와 명확한 규칙과 연결되어 있어 높은 추적 가능성을 가질 수 있습니다.
가장 강력한 시스템은 이러한 두 가지 투명성 형태를 결합할 것입니다.
온톨로지라는 용어는 두 가지 관련된 의미를 가집니다.
철학에서 온톨로지는 존재 문제와 사물 분류 방식을 탐구합니다. 컴퓨터 과학에서 온톨로지는 특정 영역 내 개체, 범주, 속성, 관계 및 제약 조건의 형식적 표현입니다.
원문은 인공지능 설명 가능성을 임마누엘 칸트의 범주 이론과 연결합니다.
칸트는 인간의 이해가 단순히 원시 감각 데이터를 수신하는 것이 아니라 개념 형식을 통해 경험을 조직한다고 보았습니다. 그는 열두 가지 범주를 다음과 같이 분류했습니다:
원문은 이 프레임워크를 사용하여 더 광범위한 관점을 설명합니다: 정보는 개념 구조에 의해 조직된 후에야 이해 가능해진다는 것입니다.
이 이미지는 문맥과 밀접하게 관련되어 있습니다.
맥락에서 칸트의 12범주를 언급하며, 이 그림은 네 가지 범주를 직관적인 형태로 제시하고 있으며, 논문에서 칸트 이론을 소개한 내용과 대응된다. 인공지능 시스템에게 실질적인 의미는 언어 모델이 반드시 칸트의 12범주를 갖추어야 한다는 데 있지 않다. 더 유용한 개념은 다음과 같다: 설명 가능성은 모델이 논의하는 사물의 유형과 그 단언하는 관계 유형을 식별하기 위한 공유 프레임워크를 필요로 한다.
예를 들어, 다음 문장을 고려해 보자:
시스템이 신청을 거부했다. 신청자가 소득 요건을 충족하지 못했기 때문이다.
유용한 설명은 단순히 활성화 맵에 의존할 수 없다. 다음과 같은 인식이 필요할 수 있다:
온톨로지는 이러한 요소와 관계를 공식적으로 정의할 수 있다.
이는 모델 출력이 해석, 검증 및 이의 제기될 수 있는 의미 구조를 제공한다.
잘 설계된 도메인 온톨로지는 다음을 지정할 수 있다:
이러한 구조는 안정적인 의미 좌표계를 생성한다.
평가자는 모델이 "인과 관계를 이해하는 것처럼 보인다"라고 말할 필요 없이, 출력물에 명확히 정의된 인과 관계가 포함되어 있는지, 관련 개체가 올바르게 식별되었는지, 인용된 증거가 해당 관계를 뒷받침하는지 질문할 수 있다.
이는 모든 모델 결정을 자동으로 올바르게 만드는 것이 아니라, 결정에 사용된 정보를 더 쉽게 검증할 수 있게 한다.
철학적 온톨로지는 개념을 제공한다. 온톨로지 공학은 이러한 개념을 소프트웨어가 사용할 수 있는 시스템으로 전환한다.
실제로 온톨로지 공학은 도메인 정의, 요구사항 수집, 개념 식별, 관계 모델링, 제약 조건 공식화, 일관성 테스트, 출처 기록, 도메인 변화 시 온톨로지 유지 관리를 포함한다.
전통적인 온톨로지 개발은 도메인 전문가와 지식 엔지니어에 크게 의존하기 때문에 비용이 많이 들고 진행 속도가 느린 경우가 많다.
대규모 언어 모델은 프로세스의 여러 단계를 가속화할 수 있다.
이들은 다음을 도울 수 있다:
이는 양방향 관계를 형성한다.
언어 모델은 온톨로지 구축 속도를 높일 수 있고, 온톨로지는 언어 모델 시스템을 더 구조화되고 검증 가능하며 추적 가능하게 만든다.
도메인 전문가는 수십 개의 보고서, 정책, 매뉴얼, 데이터베이스 스키마 및 어휘 목록을 제공할 수 있다. LLM은 이러한 자료를 스캔하여 개념과 관계의 초기 목록을 생성할 수 있다.
예를 들어, 다음과 같은 사항을 식별할 수 있다:
이는 수동 발견 작업량을 줄일 수 있다.
그러나 출력 결과는 여전히 도메인 전문가의 검토가 필요하다. 언어 모델은 관계를 조작하거나, 독립적으로 유지되어야 할 개념을 병합하거나, 원본 문서의 불일치를 재현할 수 있다.
따라서 LLM 기반 온톨로지 공학은 인간 감독 하의 지식 모델링으로 간주되어야 하며, 자동 진실 추출로 간주되어서는 안 된다.
온톨로지는 다양한 방식으로 언어 모델 애플리케이션을 지원할 수 있다.
온톨로지는 모델에 통제된 어휘와 명시적 관계를 제공한다. 이는 검색 및 생성 과정에서 모호성을 줄일 수 있다.
시스템은 사용자 언어를 표준 개체에 연결하고, 동의어를 식별하며, 표면적 단어가 아닌 의미를 기반으로 정보를 검색할 수 있다.
출력 결과는 온톨로지 제약 조건에 대해 검사될 수 있다. 예를 들어, 의료 용량에는 단위가 필요하거나, 거래에는 계좌가 포함되어야 하거나, 정책 결정은 유효한 규칙을 인용해야 한다.
추론기 및 검증 시스템은 구조화된 데이터에서 비호환 분류, 누락된 속성 또는 모순을 감지할 수 있다.
아이디어를 한 문장으로 입력하면 We0 AI가 쇼케이스 사이트, 페이지, CMS를 생성하고 출시 후 고객과 트래픽 확보를 돕습니다.
무료 등록을 위한 하나의 완전한 프로젝트 생성
하나의 완전한 생성 흐름을 시도하고 첫 번째 프로젝트 초안을 빠르게 보는 데 가장 적합합니다.
생성된 주장은 원본 문서, 온톨로지 개념, 규칙 및 버전에 연결될 수 있다. 이는 사용자가 사후에 생성된 불투명한 설명을 믿도록 요구하는 것보다 더 실용적인 검토를 가능하게 한다.
온톨로지는 LLM, 데이터베이스, 도구, 비즈니스 애플리케이션 및 인간 팀 간의 의미 계약 역할을 할 수 있다.
모델은 언어적으로 유연성을 유지하는 반면, 주변 시스템은 핵심 개념에 대한 통제된 표현을 유지한다.
모델 설명이 추적 체인 형태로 제시될 때 그 가치는 크게 향상된다:
이는 모델이 "왜" 답변을 제공했는지 설명하는 유창한 단락을 생성하도록 요구하는 방식과는 완전히 다르다.
생성된 설명 자체는 편향될 수 있다. 구조화된 지식에 고정된 추적 체인은 독립적으로 검토될 수 있다.
전통적인 온톨로지는 종종 형식적 추론 엔진을 위해 설계되었으며, 결정적 기호 추론을 지원하기 위해 구축된 광범위한 복잡한 공리를 포함한다.
대규모 언어 모델을 위한 온톨로지는 다른 균형점이 필요할 수 있다.
온톨로지는 여전히 정확성을 유지해야 하지만, 모델이 검색, 인용 및 적용하기 더 쉽도록 해야 한다.
원문은 AI 친화적 온톨로지가 가능한 모든 추론 단계를 인코딩하려고 시도하기보다는 명확한 의미 골격을 제공하는 데 초점을 맞춰야 한다고 제안한다.
이러한 분업 방식은 상당한 가치가 있다:
이 접근 방식은 두 가지 극단을 피한다.
첫 번째 극단은 완전히 비구조화된 언어 모델 워크플로우로, 프롬프트와 문서를 통해서만 중요한 개념을 정의한다. 두 번째 극단은 과도하게 엔지니어링된 기호 시스템으로, 모든 세부 사항을 형식화하려고 시도하여 유지 관리를 어렵게 만든다.
AI 친화적 온톨로지는 다음 목표를 추구해야 한다:
각 중요한 범주와 관계는 간결하고 모호하지 않은 설명을 가져야 한다.
핵심 개체와 개념은 이름만이 아닌 표준 식별자를 사용해야 한다.
정의, 사실 및 규칙은 출처, 소유자, 버전 및 유효 기간을 기록해야 한다.
개념은 사람이 읽을 수 있는 레이블, 설명, 동의어 및 사용 예를 포함해야 한다.
온톨로지는 모델이 관련 부분만 검색할 수 있도록 관리 가능한 모듈로 나누어야 한다.
고가치 데이터와 출력은 SHACL 셰이프 또는 애플리케이션 수준 검증기를 통한 명시적 제약 조건으로 검증되어야 한다.
온톨로지 변경은 모델 동작에 영향을 미칠 수 있으므로, 업데이트는 검토, 버전 관리 및 테스트를 거쳐야 한다.
애플리케이션은 모델에 제공된 개념과 사실의 기록을 유지해야 한다.
온톨로지는 규칙이 불완전하거나, 개념이 모호하거나, 인간 승인이 필요한 시나리오를 식별해야 한다.
필수적이다.
의미 계층은 유지될 때만 가치가 있다.
시대에 뒤처진 존재론은 시스템이 겉으로는 고도로 조직화된 방식으로 오류를 지속적으로 범하게 할 수 있습니다.
J-Space에 대한 논쟁은 두 가지 서로 다른 목표를 부각시킵니다.
첫째는 모델 자체를 설명하는 것입니다. 즉, 내부 표현, 회로, 계산 및 행동 메커니즘입니다.
둘째는 모델의 영향을 설명하는 것입니다. 즉, 어떤 정보가 출력을 형성했는지, 어떤 규칙이 행동을 승인했는지, 어떤 증거가 결과를 뒷받침했는지, 그리고 누가 이를 검토하거나 이의를 제기할 수 있는지입니다.
이러한 목표는 중첩되지만 완전히 동일하지는 않습니다.
메커니즘 설명 가능성은 모델이 오해를 불러일으키는 출력을 생성하기 전에 이미 내부적으로 기만을 표현했음을 밝힐 수 있습니다. 존재론 기반 추적성은 어떤 주장이 허위인지, 어떤 출처가 이를 반박했는지, 그리고 어떤 하위 프로세스가 영향을 받았는지 밝힐 수 있습니다.
첫째는 연구자가 내부 행동을 이해하는 데 도움을 줍니다. 둘째는 조직이 현실 세계의 결과를 관리하는 데 도움을 줍니다.
따라서 완전한 설명 가능성 방안은 여러 계층을 포함할 수 있습니다.
존재론 엔지니어링은 주로 정보 계층과 시스템 계층을 강화합니다. 또한 개념, 규칙 및 출처를 명확히 함으로써 영향 분석과 거버넌스를 지원할 수도 있습니다.
이는 신경 설명 가능성을 대체하지 않습니다.
구조화된 지식 그래프는 모델 가중치에 내장된 숨겨진 목표를 밝힐 수 없습니다. J-Space는 원본 문서가 권위적이거나 비즈니스 규칙이 공정하다는 것을 증명할 수 없습니다.
두 방법은 문제의 서로 다른 부분을 해결합니다.
AI 블랙박스를 열겠다는 비유는 모든 내부 가중치와 계산까지 완전히 투명하게 만드는 비현실적인 목표를 설정할 수 있습니다.
최첨단 모델의 경우, 이는 사람들이 상상하는 것처럼 실제로 실현 가능하지 않을 수 있습니다.
더 실현 가능한 목표는 시스템의 작동이 사용 맥락에서 충분히 이해 가능하고, 추적 가능하며, 테스트 가능하고, 관리 가능하도록 만드는 것입니다.
이는 시스템을 설계할 때 다음을 의미합니다.
기술적으로 가능한 경우, 모니터링 수단을 사용합니다.
핵심 전환은 설명 가능성을 단일한 시각화 문제로 보는 것이 아니라 공학 및 거버넌스 문제로 취급하는 데 있습니다.
우리는 모든 신경망 계산을 완전히 인간이 이해할 수 있는 이야기로 번역하지 못할 수도 있습니다. 그러나 여전히 영향력이 큰 출력을 더 쉽게 이해하고 이의를 제기할 수 있도록 하는 정보 아키텍처를 구축할 수 있습니다.
존재론 공학은 이 목표를 구체적인 작업으로 전환합니다.
이는 "모델의 생각을 읽는다"는 것만큼 화려하지 않지만, 실제 생산 환경에서는 더 유용할 수 있습니다.
원본 중국어 기사는 LegionSpace(동부돈 관련 제품)에 대한 홍보성 언급으로 끝납니다. 출처는 이를 존재론 공학과 추적 가능한 추론을 기반으로 구축된 기업용 AI 인프라로 설명합니다.
본 각색은 이러한 제품 주장을 독립적으로 평가하지 않았으므로, 이를 더 넓은 논증의 증거로 사용하지 않습니다.
관련 교훈은 일반적입니다. 존재론 기반 설명 가능성을 제공한다고 주장하는 모든 플랫폼은 구체적인 질문을 통해 평가되어야 합니다.
제품이 단순히 지식 그래프를 사용하거나 추론 그래프를 표시한다고 해서 설명 가능하다고 간주되어서는 안 됩니다.
J-Space는 Anthropic이 야코비안 렌즈를 통해 식별한 소수의 내부 표현에 대해 붙인 이름입니다. 연구에 따르면 이러한 표현은 보고, 추론 및 인과적 개입에 사용될 수 있는 언어화 가능한 개념을 포함할 수 있습니다.
아니요. Anthropic은 자사 모델이 인간의 의식이나 주관적 경험을 재현한다고 주장하지 않습니다. J-Space는 전역 작업 공간 이론과 부분적인 기능적 유사성을 보여주지만, 기능적 유사성이 인간과 유사한 사고의 증거는 아닙니다.
내부 도구는 어떤 표현이나 메커니즘이 행동에 영향을 미쳤는지 보여줄 수 있지만, 모델의 정보가 사실인지, 출처가 신뢰할 수 있는지, 관련성이 있는지 또는 합리적인지 자동으로 판단할 수는 없습니다. 설명 가능성은 증거, 의미론적 정의, 출처, 규칙 및 현실 세계 영향에 대한 설명도 필요로 합니다.
존재론
존재론 공학은 도메인 내에서 엔터티, 클래스, 속성, 관계 및 제약 조건을 형식적으로 정의하는 실천입니다. 소프트웨어 시스템에서 존재론은 일반적으로 RDF 및 OWL과 같은 표준으로 표현되며 SHACL을 통해 검증될 수 있습니다.
존재론은 표준화된 개념과 명확한 관계를 제공하여 검색, 생성 및 검증 프로세스를 고정합니다. 이는 주장을 정의된 개념, 뒷받침 증거, 형식적 규칙 및 기록된 버전과 연결하는 데 도움이 됩니다.
대규모 언어 모델은 개념 추출, 관계 발견, 매핑 및 문서 작성을 가속화할 수 있지만, 그 제안은 전문가의 검토가 필요합니다. 완전 자동화된 존재론 생성은 원본 데이터 오류를 재현하거나, 다른 개념을 병합하거나, 근거 없는 관계를 생성할 수 있습니다.
아니요. 존재론은 중요한 출력을 제한하고 추적성을 향상시킬 수 있지만, 모든 모델 오류를 제거할 수는 없습니다. 신뢰할 수 있는 시스템은 여전히 검색 품질 관리, 검증, 테스트, 권한 관리, 모니터링 및 인간 검토를 필요로 합니다.
이들은 설명 가능성의 서로 다른 계층을 해결하므로 상호 보완적으로 사용하는 것이 가장 좋습니다. 메커니즘 설명 가능성은 모델 내부 행동을 연구하는 반면, 존재론 공학은 외부 정보, 규칙 및 의사 결정 경로를 더 검토하기 쉽게 만듭니다.
Eclipse RDF4J: RDF 데이터를 생성, 저장, 질의, 추론 및 검증하기 위한 모듈형 Java 프레임워크입니다.
Anthropic의 J-Space 연구는 기계적 해석 가능성 분야에서 중요한 진전입니다. 이 연구는 연구자들에게 Claude 내에서 소수의 구체화된 내부 표현을 관찰하고 인과적으로 검증할 수 있는 새로운 방법을 제공합니다.
이 연구가 더 광범위한 해석 가능성 문제를 해결하는 것은 아닙니다. AI 시스템을 이해하려면 시스템이 사용하는 정보, 개념의 의미, 주장 이면의 증거, 행동이 따르는 규칙, 그리고 출력 결과가 초래하는 영향도 함께 규명해야 합니다.
온톨로지 엔지니어링은 이러한 외부 구조를 공식화하는 실행 가능한 경로를 제공합니다. 특히 수동 검토 및 내부 해석 가능성 연구와 결합될 때, 의미 검색, 검증, 출처 추적, 추적 가능성 및 책임 소재를 지원할 수 있습니다.
해석 가능한 AI의 진정한 핵심은 아마도 '모델을 여는 것'과 '외부 세계의 틀을 구축하는 것' 중 하나를 선택하는 것이 아니라, 이 두 가지를 모두 아우르는 법을 배우는 데 있을 것입니다.
