Предупреждение Карпати об агентах: сначала создавайте модель, а не только демо

Введение

ИИ-агенты сейчас повсюду. Каждую неделю появляется новый инструмент, который обещает просматривать веб-страницы, управлять компьютером, что-то бронировать, писать код или завершать рабочий процесс всего по короткой инструкции от пользователя.

Этот ажиотаж реален. Но недавнее обращение Андрея Карпати к разработчикам агентов привлекло внимание именно потому, что оно идет против духа момента: прежде чем заставлять агентов делать всё подряд, разработчикам следует сначала понять и улучшить лежащую в их основе модель.

Смысл не в том, что ИИ-агенты бесполезны. Смысл гораздо острее. Яркое демо может скрывать слабый фундамент. Настоящий продукт должен выдерживать хаотичные входные данные, длинные задачи, пограничные случаи, проблемы с памятью, изменения интерфейса и вопрос доверия пользователей. Именно на этой разнице ломаются многие проекты с агентами.

Послание, которое остановило создателей агентов

Обсуждение началось с короткого видеофрагмента и широко разошедшегося поста, в котором резюмировалась точка зрения Карпати. Основная идея была простой: возможно, сфера ИИ совершает ошибку, заставляя агентов работать до того, как будут полностью освоены лежащие под ними модели.

Это высказывание вызывает дискомфорт, потому что оно бросает вызов нынешней гонке агентов. Многие команды пытаются как можно быстрее превратить сегодняшние LLM в автономных исполнителей. Они оборачивают модели инструментами, памятью, управлением браузером, доступом к файлам, запланированными задачами и многошаговыми рабочими процессами.

Эти надстройки могут помочь. Но они не снимают главный вопрос: способна ли модель рассуждать достаточно надежно, достаточно ясно планировать, восстанавливаться после ошибок и достаточно глубоко понимать задачу?

Если ответ отрицательный, то добавление всё новых агентных надстроек может сделать систему более впечатляющей в демо, но при этом — более трудной для отладки в продакшене.

Урок 2016 года: World of Bits

Предупреждение Карпати не является чисто теоретическим. Исходная статья отсылает к проекту 2016 года: World of Bits — платформе веб-агентов, построенной вокруг идеи, что агенты могут взаимодействовать с интернетом с помощью клавиатуры и мыши.

На тот момент эта цель казалась футуристичной. Агент должен был использовать веб-страницы так же, как это делает человек: нажимать кнопки, заполнять формы, переходить по страницам и выполнять задачи вроде бронирования авиабилетов или заказа еды. Это звучит очень похоже на те продукты-агенты, о которых люди слышат сегодня.

Проект превратился в серьезное исследовательское направление и был

опубликовано на ICML 2017 под названием «World of Bits: An Open-Domain Platform for Web-Based Agents». Но более масштабная продуктовая мечта тогда так и не воплотилась в полной мере.

Важный вывод не в том, что сама идея была ошибочной. А в том, что доступные инструменты еще не были готовы. В области агентов тогда еще не было современных базовых моделей, мультимодальных систем, паттернов использования инструментов или LLM, способных писать код. Обучение с подкреплением было одним из главных инструментов, но его оказалось недостаточно, чтобы превратить эту идею в надежный универсальный продукт.

Вот почему посыл Карпати важен именно сейчас. Технически привлекательное направление все равно может появиться слишком рано, если базовые возможности еще недостаточно сильны.

От неудачной демонстрации агента к более прочным основаниям

Полезный способ прочитать историю World of Bits — увидеть в ней урок о выборе правильного момента.

Команда работала над чем-то, что выглядело как будущее, но сама область еще не создала фундамент, необходимый для его поддержки. Оглядываясь назад, Карпати утверждает, что более правильным шагом было бы меньше пытаться втиснуть агентов в конкретные задачи и больше сосредоточиться на улучшении языковых моделей и лежащего в основе обучения представлениям.

Именно это делает нынешний момент интересным. Инструменты изменились. Теперь LLM могут рассуждать на естественном языке, вызывать инструменты, писать код, интерпретировать скриншоты и удерживать более длинный контекст, чем более ранние системы. Стек агентных технологий выглядит гораздо более правдоподобным, чем в 2016 году.

И все же более мощные инструменты не устраняют продуктовую сложность. Они лишь сдвигают границу возможного вперед.

Jim Fan и преемственность исследований агентов

Исходная статья также связывает World of Bits с более поздними работами по воплощенным агентам через таких исследователей, как Jim Fan. Это важно, потому что история агентов не исчезла после того, как ранние проекты веб-агентов застопорились. Она эволюционировала в более богатые исследовательские направления: среды симуляции, агенты в Minecraft, открытое обучение и воплощенный интеллект.

Проекты вроде MineDojo и Voyager показывают иной путь, отличный от подхода «покликать по нескольким веб-страницам и надеяться, что агент сработает». Они исследуют агентов в средах, где цели, память, действия, навыки и обратную связь можно изучать более системно.

Это не означает, что агенты в Minecraft напрямую решают задачи бизнес-автоматизации. Это означает, что серьезный прогресс в области агентов обычно возникает благодаря лучшим средам, лучшей оценке, более качественному поведению моделей и более ясным циклам обратной связи.

Демонстрацию сделать легко; на продукт уходят годы

Один из самых практичных моментов в статье — это разрыв между демонстрацией и продуктом.

Демонстрации достаточно сработать один раз, часто в заранее подготовленных условиях. Продукт же должен работать многократно, для разных пользователей, в разных ситуациях, при этом делая сбои понятными и поддающимися восстановлению.

Беспилотное вождение — полезное сравнение. Машина, проезжающая квартал, может выглядеть впечатляюще. Но готовая к промышленному использованию система автономного вождения должна справляться с редкими событиями, плохими

видимость, странное поведение на дороге, нормативные ограничения, ожидания в области безопасности и годы итераций.

VR развивалась по похожему сценарию. Демонстрация гарнитуры может впечатлить за пять минут. Но устойчивый продукт требует аппаратного обеспечения, программного обеспечения, контента, эргономики, ценообразования, дистрибуции и многократно подтверждаемой ценности для пользователя.

Агенты относятся к этой же категории. Их легко представить и легко продемонстрировать, но трудно вывести на рынок как надежные, долговечные продукты.

Три практических урока для создателей агентов

1. Поймите модель, прежде чем расширять агентную оболочку

Прежде чем добавлять новые инструменты, спросите себя, что модель может и чего не может надежно делать. Может ли она следовать длинным инструкциям? Может ли она понимать, когда не уверена? Может ли она восстановиться после неудачного вызова API? Может ли она проверять собственную работу?

Если модель слаба в центре, более сложная оркестрация может сделать систему не полезнее, а более хрупкой.

1. Смотрите на демо как на начало, а не финишную черту

Хорошее демо ценно, потому что оно подтверждает правильность направления. Но это еще не соответствие продукта рынку, не надежность и не доверие.

Для агентных продуктов настоящая работа начинается после демо: логирование, оценка, откат изменений, проверка человеком, проектирование разрешений, границы памяти и обработка сбоев.

1. Стройте основы, которые позволяют агентам возникать

Самый сильный продуктовый урок Карпати заключается в том, что сам агент может и не быть продуктом. Более глубоким продуктом могут быть возможности модели, дизайн среды, конвейер данных, система оценки и интерфейс инструментов, которые делают поведение агента надежным.

Более прочная основа может сделать возможными многие варианты агентного поведения. Слабая основа превращает любой рабочий процесс в лоскутное одеяло из частных случаев.

Возвращение Карпати к предобучению

В статье также отмечается переход Карпати в команду предобучения Anthropic. Это важно, потому что еще раз подчеркивает ту же мысль: передний край по-прежнему глубоко связан с фундаментальной работой над моделями.

Предобучение может звучать не так эффектно, как агенты, но именно оно формирует базовые возможности, от которых зависит все остальное. Лучшие модели могут улучшить рассуждение, понимание языка, использование инструментов, программирование, планирование и мультимодальное восприятие.

Для создателей агентов это не означает, что каждый должен обучать передовые модели. Большинство команд этого не может. Но им необходимо достаточно хорошо понимать поведение модели, чтобы проектировать системы с учетом ее особенностей.

Команда, создающая агентов, должна понимать, какие сбои вызваны промптингом, какие — дизайном инструментов, какие — нехваткой контекста, а какие — фундаментальными ограничениями самой модели.

Чему можно научиться у мозга

После продуктового урока исходная статья обращается к нейронауке. Сообщается, что Карпати призвал разработчиков задуматься о том, чему агентные системы могли бы научиться у мозга.

Сравнение здесь не в буквальном копировании биологии. Речь идет о том, чтобы задавать более точные структурные вопросы.

Что играет роль памяти? Что выбирает

действия? Где хранятся навыки? Что решает, какая мысль или план получает внимание? Что не дает долгосрочным целям быть затертыми краткосрочным шумом?

Эти вопросы полезны, потому что агентные продукты часто терпят неудачу именно в этих областях. Они забывают контекст. Они выбирают неправильное следующее действие. Они слишком резко реагируют на несущественную информацию. Они не могут удерживать стабильный план. Они терпят неудачу молча.

Более зрелая архитектура агентов, возможно, потребует более четкого разделения между памятью, планированием, действием, рефлексией, извлечением информации и верификацией.

Почему независимые разработчики по-прежнему важны

Самая обнадеживающая часть послания Карпати — не критика. Это напоминание о том, что фронтир агентных систем все еще открыт.

Крупные лаборатории обладают глубоким опытом в обучении передовых языковых моделей. Они видели многие идеи обучения моделей за годы до того, как публика узнает о них. В этой области разрыв в опыте огромен.

Агентные продукты — это другое. Эта сфера все еще молода. Лучшие рабочие процессы, интерфейсы, паттерны памяти, системы разрешений, циклы проверки и категории продуктов еще не устоялись окончательно.

Это дает независимым разработчикам, стартапам и небольшим исследовательским командам реальный шанс. Они могут пробовать более точные идеи, быстрее разговаривать с пользователями, быстро менять направление и исследовать продуктовые сценарии, которым крупные лаборатории могут не отдавать приоритет.

Поэтому предупреждение звучит не как «не создавайте агентов». Оно звучит как «не пропускайте фундаментальные основы».

Примечания к источнику и изображениям

Эта статья представляет собой оригинальную англоязычную адаптацию на основе общедоступной страницы-источника с BAAI Hub: https://hub.baai.ac.cn/view/56135.

Исходная страница включает несколько изображений. В этой версии Markdown сохранены только изображения, которые поддерживают смысл статьи, например скриншоты из X, скриншоты статей, исследовательские обновления и упомянутая обложка книги. Изображения только с логотипами, QR-кодами, рекламные баннеры и не относящиеся к теме декоративные изображения не включались.

FAQ

В чем состоит главное предупреждение Карпати об ИИ-агентах?

Главное предупреждение состоит в том, что разработчики, возможно, спешат заставить агентов выполнять сложные задачи до того, как базовые модели станут достаточно надежными. Обвязка вокруг агента может помочь, но она не может полностью компенсировать слабое рассуждение, плохое восстановление после ошибок или поверхностное понимание задачи.

Что такое World of Bits?

World of Bits — это исследовательская платформа для веб-агентов, представленная на ICML
2017. Она изучала агентов, взаимодействующих с веб-сайтами через низкоуровневые действия, такие как ввод с клавиатуры и использование мыши.

Почему различие между демо и продуктом так важно для агентов?

Демо можно подготовить и протестировать в узком сценарии. Продукт должен работать для множества пользователей, задач, ошибок, разрешений и пограничных случаев. Именно поэтому агентные продукты обычно требуют долгосрочной работы над надежностью и оценкой.

Означает ли это, что ИИ-агентов не стоит создавать?

Нет.

аргумент направлен не против агентов. Он направлен против создания агентов без понимания лежащих в основе модели, среды, процесса оценки и продуктовых ограничений.

Почему предварительное обучение важно для агентных продуктов?

Предварительное обучение влияет на базовые способности модели к рассуждению, пониманию языка, использованию инструментов и обобщению. Чем сильнее базовая модель, тем проще проектировать, оценивать и считать надежным поведение агента.

Чему разработчики агентов могут научиться у нейронауки?

Нейронаука может подсказать вопросы о памяти, выборе действий, внимании, планировании и самоконтроле. Агентным системам может потребоваться более четкая архитектура вокруг этих функций, вместо того чтобы полагаться на один длинный промпт или один универсальный цикл.

Отстают ли небольшие команды от крупных ИИ-лабораторий в разработке агентов?

Не обязательно. У крупных лабораторий есть огромное преимущество в обучении передовых моделей, но паттерны агентных продуктов все еще не устоялись. Небольшие команды могут двигаться быстро и находить полезные рабочие процессы до того, как они станут очевидными для всех.

Связанные инструменты

• Claude: ИИ-ассистент Anthropic, часто используемый для рассуждений, письма, программирования и поддержки рабочих процессов.
• Документация по API Claude: Официальная документация по созданию приложений на моделях Claude от Anthropic.
• World of Bits: Исследовательская платформа для изучения веб-агентов, выполняющих действия с клавиатурой и мышью.
• MineDojo: Фреймворк на базе Minecraft для исследований открытых embodied-агентов.
• Voyager: Проект embodied-агента на основе LLM для непрерывного обучения в Minecraft.

Связанные ссылки

• Оригинальный источник на BAAI Hub: Исходная статья, использованная как фактическая основа для этой английской адаптации.
• Статья о World of Bits: Официальная страница PMLR для статьи ICML 2017 года.
• PDF по World of Bits: Прямая PDF-версия исследовательской статьи.
• Обновление Anthropic от Карпати: Публичный пост Карпати о присоединении к Anthropic.
• Официальный сайт Anthropic: Официальный сайт Anthropic и анонсов, связанных с Claude.
• Статья о Voyager: Статья на arXiv о Voyager, embodied-агенте открытого типа на основе больших языковых моделей.
• Статья о MineDojo: Статья на arXiv о фреймворке MineDojo для исследований embodied-агентов открытого типа.
• Мозг и поведение: Страница Oxford University Press о книге по нейронауке, упомянутой в обсуждении.

Краткое содержание

В этой статье объясняется предупреждение Карпати о нынешней гонке вокруг ИИ-агентов: агенты действительно захватывают воображение, но слабый фундамент делает их хрупкими. Урок World of Bits в том, что даже сильная идея может появиться раньше, чем у области появятся подходящие инструменты.

Для сегодняшних разработчиков практический путь — не отказываться от агентов. Он заключается в том, чтобы понимать модель, строить более сильные системы оценки, проектировать более безопасные циклы действий и относиться к демо как к началу продуктовой работы, а не к ее завершению.

чем финишная черта.

Полезный вывод прост: сначала создайте фундамент, а затем позвольте на его основе появиться более совершенным агентам.