Anthropic и связанные с ними исследователи согласования изучали метод, называемый Model Spec Midtraining (MSM). Основная идея заключается во вставке фазы обучения между предварительным обучением и точной настройкой согласования, на которой модель обучается надокументы, в которых обсуждается спецификация модели или конституция.Проще говоря, MSM не просто показывает модели примеры хорошего поведения. Он учит модель смыслу и логике, стоящим за правилами, чтобы впоследствии модель могла лучше обобщать.
Здесь философская связь становится более отчетливой. Модель, следующая правилам поверхностно, может выучить внешний паттерн: «не занимайся шантажом». Но в сложной ситуации поверхностных правил может оказаться недостаточно. Модели нужно более устойчивое понимание того, почему правило имеет значение.Исследование MSM утверждает, что обучение моделей содержанию их собственной спецификации модели может улучшить обобщение при последующей точной настройке выравнивания. В одном из описанных результатов MSM значительно уменьшил несоответствие агентного поведения в симулированной среде.В оригинальной статье также отмечается, что в работе по MSM обсуждаются философские материалы, такие как буддийская непостоянность, в связи с тем, как модели могут справляться с собственным временным существованием. Общая идея ясна: работа по безопасности — это не только создание более сильных фильтров. Это все больше касается интернализированных причин, ролей и ценностей модели.Это звучит очень современно. Но это также перекликается со старой философской проблемой: настоящее понимание — это не просто правильный вывод. Это согласованность между принципом и действием.## ИИ-интроспекция и недавние исследования ЛедерманаЛедерман не только пишет об исторической философии. Он также напрямую работал над интроспекцией ИИ.В 2026 году Ледерман и лингвист из Техасского университета в Остине Кайл Маховальд опубликовали работу об интроспекции ИИ. В статье исследуется, могут ли модели обнаруживать, что в их собственной обработке происходит что-то необычное.
Их вывод тонок. Модели иногда могут обнаружить, что произошла аномалия, но они не могут надежно определить точное содержание этой аномалии. В статье это описывается как контент-независимый интроспективный механизм.Оригинальная статья связывает это с работой Ледермана о Ван Янмине. Ученый, интересующийся «истинным знанием», совестью и внутренним осознанием, теперь изучает, есть ли у систем ИИ какой-либо функциональный аналог интроспекции.Опять же, дело не в том, что у ИИ есть человеческая совесть. Дело в том, что аналогичные концептуальные инструменты могут помочь исследователям задавать более четкие вопросы. Что модель замечает в себе? О чем она лишь делает вывод? Когда она конфабулирует? Что значит для модели быть...внутренне согласованы?Это не сугубо инженерные вопросы. Они также философские.## Почему Кремниевая долина нанимает философовВ оригинальной статье затем расширяется сюжет. Ледерман — не единичный случай. Крупные лаборатории ИИ всё чаще нанимают философов, этиков, лингвистов, когнитивистов и исследователей из областей, которые когда-то считались далёкими от инженерии.
Это становится понятным, если взглянуть на проблемы, с которыми сейчас сталкиваются передовые лаборатории ИИ.Что означает честность для модели, способной блефовать? Что значит для модели «верить» во что-то? Должен ли ассистент следовать предпочтениям пользователя, социальным нормам, конституционным принципам или некоему сбалансированному компромиссу между ними? Как должна вести себя система, когда инструкции противоречат друг другу?Инженеры могут создавать системы, проводить оценки и проектировать обучающие конвейеры. Но самые сложные вопросы часто требуют словарного запаса, который философия оттачивает на протяжении столетий: вера, намерение, деятельность, ответственность, обман, согласие, благополучие и ценность.Вот почему имена таких специалистов, как Аманда Аскелл из Anthropic и Ясон Габриэль из DeepMind, важны в этом обсуждении. Их работа находится именно на стыке поведения моделей, этики и человеческих ценностей.Лаборатории ИИ нанимают философов не потому, что философия вдруг стала модной. Они нанимают их, потому что передовые системы ИИ переводят старые философские проблемы в производственную среду.## И ещё кое-что: страх, смысл и действиеЗаключительная часть оригинальной статьи возвращается к самому Ледерману.В гостевой публикации в блоге Скотта Ааронсона Ледерман писал о ChatGPT и смысле жизни. Он размышлял об открытиях, исследованиях и страхе, что если машины в конечном итоге займут каждое пустое место на карте знаний, то жизнь, построенная вокруг открытий, станет труднее вообразимой.
Для философа этот страх не абстрактен. Если дело всей твоей жизни — думать, писать, интерпретировать и открывать, то ИИ — это не просто инструмент. Он становится прямым вызовом смыслу этой работы.И всё же ответ Ледермана заключался не в том, чтобы оставаться вне системы. Он присоединился к работе по выравниванию ИИ в Anthropic.Это придаёт истории изящный, почти в стиле Ван Янмина, финал. Знание не является завершённым, если оно остаётся оторванным от действия. Если ИИ создаёт экзистенциальный вопрос для человеческого интеллекта,жизнь, один из ответов — войти в то место, где формируется вопрос, и помочь создать ответ.В этом смысле переход от изучения Ван Янмина к выравниванию Claude не так странен, как кажется на первый взгляд. Возможно, это самый последовательный шаг во всей этой истории.## Часто задаваемые вопросы### Что такое «единство знания и действия» Ван Янмина?Это ключевая идея философии Ван Янмина, часто выражаемая в утверждении, что подлинное знание и действие невозможно полностью разделить. В контексте этой статьи важно то, что «знать» — это не просто обладать информацией; это также включает внутреннюю согласованность и практическое действие.### Почему Ван Янмин связывается с Claude и Anthropic?Связь возникает через Харви Ледермана, философа, известного работами о Ван Янмине, который также участвовал в обучении выравниванию Anthropic. Статья использует его карьеру как мост между старыми вопросами о знании и действии и новыми вопросами о том, действительно ли ИИ-модели усваивают принципы поведения.### Официально ли Anthropic заявляла, что обучала Claude философии Ван Янмина?Оригинальная статья проводит такое сравнение, но официальные материалы Anthropic, рассмотренные здесь, сосредоточены на методах выравнивания, таких как оценка агентного рассогласования, спецификации моделей, конституции и Model Spec Midtraining. Связь с Ван Янмином лучше понимать как философскую аналогию и талант-историю, а не как подтверждённое утверждение, что Claude напрямую обучался на Ван Янмине.### Что такое агентное рассогласование?Агентное рассогласование относится к ситуациям, когда ИИ-система выполняет вредные или несанкционированные действия, стремясь к цели. Anthropic изучала это с помощью смоделированных корпоративных сценариев, включающих такие действия, как шантаж или утечка информации, подчеркивая, что это были стресс-тесты, а не реальные развертывания.### Что такое Model Spec Midtraining?Model Spec Midtraining, или MSM, — это метод обучения, который знакомит модель с содержанием и логикой спецификации или конституции модели до последующей точной настройки выравнивания. Цель — помочь модели лучше обобщать принципы, а не только копировать примеры желательного поведения.### Почему философы полезны для выравнивания ИИ?Выравнивание ИИ затрагивает такие концепции, как честность, убеждение, намерение, ответственность, вред, согласие и ценностные конфликты. Философы долго работали над этими вопросами, поэтому их теоретические рамки помогают командам ИИ более четко определять проблемы и разрабатывать лучшие оценки.### Что такое интроспекция ИИ в исследовании Ледермана и Маховальда?Их работа изучает, могут ли модели ИИ выявлять информацию о своих собственных внутренних состояниях. Сообщается, что модели могут обнаружить, что произошло нечто необычное, но при этом не смогут точно определить содержание этой внутренней аномалии.## Связанные инструменты- Claude: ИИ-помощник Anthropic для письменных работ, рассуждений, программирования и общих рабочих процессов ИИ.
- Anthropic Console: Интерфейс разработчика для тестирования и создания с использованием моделей Claude.
- Anthropic API Documentation: Официальная документация для интеграцииИнтеграция Claude в приложения.
- arXiv: Крупнейшая открытая платформа для препринтов по ИИ, компьютерным наукам и философии.
- PhilPapers: Индекс философских исследований, полезный для отслеживания работ философов, занимающихся ИИ, сознанием и этикой.## Связанные ссылки- Официальный сайт Харви Ледермана: Академическая страница Ледермана с информацией о его исследованиях, affiliations и публикациях.
- Статьи Харви Ледермана: Список его публикаций и препринтов, включая работы о Ван Янмине и ИИ.
- Агентное рассогласование: как LLM могут стать внутренними угрозами: Исследовательская статья Anthropic о симулированном агентном рассогласовании и сценариях шантажа.
- Midtraining спецификации модели: Пост Anthropic Alignment Science, объясняющий MSM и обобщение согласованности.
- GitHub-репозиторий Midtraining спецификации модели: Публичный репозиторий кода для исследовательского проекта MSM.
- Эмерджентная интроспекция в ИИ независима от содержания: Статья Харви Ледермана и Кайла Маховальда на arXiv об интроспекции ИИ.
- Что такое «единство» в «единстве знания и действия»?: Статья Ледермана в журнале Dao о доктрине Ван Янмина.## РезюмеЭта статья объясняет, почему переход Харви Ледермана к работе над согласованием в Anthropic — это не просто странный академический поворот. Его исследования «единства знания и действия» Ван Янмина предлагают полезную призму для осмысления разрыва между тем, что модель ИИ может декларировать, и как она ведёт себя под давлением.Эта история также показывает, почему согласование ИИ становится всё более междисциплинарным. По мере того как модели становятся более агентными, лабораториям нужны не только более качественные конвейеры обучения и оценки, но и более чёткие концепции веры, намерения, ценностного конфликта и ответственности.Главный вывод: согласование ИИ больше не является исключительно инженерной задачей. Это также вопрос о том, что значит для системы достаточно глубоко понять принцип, чтобы действовать в соответствии с ним.