Google обновляет Android Bench с Harbor: Claude Fable 5 возглавляет новый рейтинг AI-кодирования

ВведениеGoogle обновил рейтинг кодирования Android Bench и перенес workflow бенчмарка на фреймворк Harbor. Это обновление важно, поскольку Android Bench — это не общий конкурс по программированию. Он создан для проверки того, насколько хорошо большие языковые модели справляются с реальными задачами разработки под Android, включая понимание кодовой базы, генерацию патчей, специфические для Android API, системы сборки и проверку тестов.Новые результаты дают разработчикам интересный сигнал. Claude Fable 5 теперь занимает верхнюю строчку обновленного рейтинга, за ним следует GPT 5.5, в то время как собственные модели Google Gemini показывают более неоднозначные результаты по точности, задержке и стоимости. Для команд, использующих ИИ-агенты кодирования в проектах под Android, главный вывод — не просто "какая модель победила". Это то, как метод оценки, среда песочницы, стоимость и задержка вместе меняют способ оценки производительности модели.## Google переносит Android Bench на фреймворк Harbor9 июля Google объявил о крупном обновлении Android Bench — своего бенчмарка и рейтинга для ИИ-ассистированной разработки под Android. Самое важное изменение — принятие Harbor, стандартизированного фреймворка для выполнения задач агентов в изолированных средах.Ранее Android Bench использовал конфигурацию оценки на основе mini-swe-agent v1, адаптированную для разработки под Android. В новой версии Google перешел на Harbor, чтобы сделать выполнение бенчмарка более стандартизированным, изолированным и воспроизводимым. Цель — упростить разработчикам и исследователям проведение независимых оценок, сравнение различных конфигураций агентов и обмен результатами более прозрачным способом.Google также сделал инструментарий Android Bench открытым на GitHub. Это дает сообществу более четкое представление о том, как работает бенчмарк, и открывает возможности для обратной связи, пользовательских задач разработки под Android и более широкого участия в оценке моделей.## Почему изменение песочницы Harbor имеет значениеФреймворк, лежащий в основе бенчмарка, может повлиять на результат. Особенно это верно для ИИ-агентов кодирования, где модели не просто отвечают на вопросы; они изучают репозитории, выполняют команды, редактируют файлы, вызывают инструменты и пытаются пройти тесты.Harbor построен вокруг оценки задач агентов в изолированной среде. Для Android Bench это означает, что запуски моделей могут быть организованы в более контролируемой среде выполнения вместо использования ad hoc локальных конфигураций. Это помогает уменьшить неопределенность при сравнении моделей и упрощает воспроизведение конкретной оценки.Методология Google Android Bench также подчеркивает проблемы, специфичные для разработки под Android, а не общие задачи программирования. Бенчмарк включает работу, связанную с такими областями, как Jetpack Compose, Coroutines и Flows, Room, Hilt, миграция навигации, конфигурация Gradle,Изменения в SDK, медиа, камера, складные устройства, разрешения времени выполнения и другие общие вопросы разработки Android.## Обновлённые результаты таблицы лидеровПосле изменения методологии Google повторно запустила тестирование и обновила таблицу лидеров Android Bench. Согласно обновлённым результатам, Claude Fable 5 занимает первое место с результатом 84,5%. GPT 5.5 следует с 80,2%, а Claude Sonnet 5 занимает третье место с 76,2%.Упрощённый вид лучших результатов выглядит следующим образом:| Место | Модель | Результат | Доверительный интервал | Средняя задержка | Средняя стоимость |

|-|-|-|-|-|-|
| 1 | Claude Fable 5 | 84,5% | 79,9–88,8 | 8,0 ч | 133,2 $ |
| 2 | GPT 5.5 | 80,2% | 73,5–86,6 | 11,4 ч | 138,3 $ |
| 3 | Claude Sonnet 5 | 76,2% | 69,0–82,1 | 12,3 ч | 99,9 $ |
| 4 | GPT 5.4 | 74,1% | 66,0–80,9 | 8,4 ч | 83,4 $ |
| 5 | Gemini 3.1 Pro Preview | 73,7% | 66,1–80,4 | 10,6 ч | 87,4 $ |
| 6 | Claude Opus 4.8 | 72,4% | 65,8–79,3 | 6,7 ч | 88,0 $ |
| 7 | GLM 5.2 | 72,2% | 65,3–78,7 | 38,9 ч | 117,0 $ |
| 8 | Gemini 3.5 Flash | 71,1% | 63,6–78,2 | 28,3 ч | 165,6 $ |Эти цифры следует воспринимать как результаты, характерные для данного теста. Они не доказывают, что одна модель универсально лучше во всех задачах кодирования. Они показывают, как каждая модель проявила себя в обновлённой среде оценки Google, ориентированной на Android.## Неоднозначная позиция Gemini в новых результатахОбновлённый рейтинг примечателен тем, что собственные модели Google не возглавляют таблицу. Gemini 3.1 Pro Preview занимает пятое место с результатом 73,7%. Её заявленная средняя стоимость ниже, чем у нескольких лучших моделей, но точность уступает Claude Fable 5, GPT 5.5, Claude Sonnet 5 и GPT 5.4.Gemini 3.5 Flash представляет ещё больший интерес. Она позиционируется как более лёгкая модель, но в этом тесте она демонстрирует высокую среднюю задержку в 28,3 часа и среднюю стоимость 165,6 $ за полный прогон теста. Это делает её менее привлекательной в данной конкретной оценке, несмотря на общее ожидание, что более лёгкие модели должны быть быстрее и дешевле.Главный урок прост: выбор модели для агентов кодирования не может основываться только на бренде, семействе моделей или цене за токен. Модель, которая выглядит экономически эффективной в обычном чате, может вести себя совершенно иначе, когда её просят решить 100 реальных задач разработки Android, включающих вызовы инструментов, редактирование репозитория и выполнение тестов.## Что на самом деле оценивает Android BenchAndroid Bench предназначен для оценки того, может ли LLM действовать как практичный разработчик Android. Он предоставляет модели описания реальных проблем и просит сгенерировать изменения кода, которые решают проблему. Затем полученный патч проверяется с помощью настроенной валидации.Методология Google гласит, что тест включает 100 задач, отобранных из гораздо большего пула запросов на слияние. Отбор фокусируется на Android-репозиториях и реальных рабочих процессах разработки, включая случаи, связанные с Kotlin, Java, Jetpack Compose, традиционными Views, приложениями, библиотеками, небольшими целевыми изменениями и более крупными модификациями кода.Это отличает Android Bench от простых тестов завершения кода. Он ближе к агентной оценке программной инженерии, где модели необходимо понять репозиторий, внести соответствующие изменения и пройти автоматическую проверку.## Почему это важно для AI-агентов кодированияAI-кодированиерабочие процессы переходят от простых фрагментов кода на основе промптов к автономным или полуавтономным агентам. В реальном Android-проекте агент должен ориентироваться в структуре проекта, понимать ограничения сборки, безопасно редактировать несколько файлов, обрабатывать изменения API и запускать тесты, не нарушая существующего поведения.Такой бенчмарк, как Android Bench, помогает разработчикам оценивать модели в рамках подобных рабочих процессов. Он также делает видимыми затраты и задержки. Для промышленного использования лучшая модель — не всегда та, что набрала наивысший балл. Команда может предпочесть модель с несколько более низким баллом, если она намного быстрее, дешевле или стабильнее в своей собственной среде разработки.Обновление также подчеркивает более широкий момент: методология бенчмаркинга должна развиваться по мере развития ИИ-агентов. Вызов инструментов, изоляция, трассировка выполнения, воспроизводимость и отслеживание затрат теперь являются частью оценки, а не дополнительными опциями.## FAQ

Что такое Android Bench?Android Bench — это бенчмарк Google для оценки больших языковых моделей на задачах разработки под Android. Он фокусируется на реальных инженерных проблемах Android, а не на общих вопросах по кодингу или изолированных алгоритмических задачах.### Зачем Google перенес Android Bench на Harbor?Google перенес Android Bench на фреймворк Harbor для стандартизации выполнения бенчмарков в изолированных средах. Это облегчает воспроизведение, сравнение и обмен результатами оценки между различными конфигурациями моделей и агентов.### Какая модель занимает первое место в обновленном рейтинге Android Bench?В обновленном рейтинге, описанном в исходной статье и на странице Google Android Bench, первое место занимает Claude Fable 5 с результатом 84,5%. GPT 5.5 следует за ним с 80,2%, а Claude Sonnet 5 занимает третье место.### Означает ли это, что Claude Fable 5 — лучшая модель для кодинга в целом?Не обязательно. Android Bench измеряет производительность кодинга под Android в рамках определенной конфигурации бенчмарка. Модель, показывающая здесь наилучшие результаты, может не быть лучшим выбором для веб-разработки, инженерии данных, DevOps или других программных задач.### Почему задержка важна в бенчмарке ИИ для кодинга?Задержка показывает, сколько времени требуется модели для выполнения задач бенчмарка. Для реальных инженерных команд высокий балл полезен только в том случае, если модель может завершить работу в приемлемые сроки.### Почему важна стоимость бенчмарка?Стоимость важна, потому что агентный кодинг может включать множество вызовов инструментов, длинные контекстные окна, просмотр репозитория и многократные запуски тестов. Модель с высокой точностью, но очень высокой стоимостью может быть менее практична для частого промышленного использования.### Могут ли разработчики самостоятельно запускать Android Bench?Репозиторий Android Bench на GitHub содержит инструменты и инструкции по настройке для оценки моделей. Официальная документация также предоставляет разработчикам доступ к набору данных и методологии, чтобы они могли лучше понять или воспроизвести бенчмарк.## Связанные инструменты- Android Bench: Рейтинг Google для оценки LLM на задачах разработки под Android.

• Репозиторий Android Bench на GitHub: Фреймворк и инструменты с открытым исходным кодом для оценки Android Bench.
• Harbor: Фреймворк для спецификации и оценки изолированных сред выполнения.Задачи агентов.
• mini-swe-agent: Легковесный программный агент для инженерии, используемый в бенчмарках и рабочих процессах кодинга с агентами.
• LiteLLM: Унифицированный интерфейс для вызова множества LLM-провайдеров с использованием форматов, совместимых с OpenAI.
• Android Studio: Официальная IDE для разработки и тестирования приложений под Android.## Связанные ссылки- Android Bench Leaderboard: Официальная страница рейтинга Android Bench с показателями по оценке, стоимости и задержке.
• Android Developers Blog: Evolving How LLMs Are Measured for Android: Официальный пост Google, объясняющий миграцию на Harbor и обновление таблицы лидеров.
• Android Bench Methodology: Официальная страница методологии, описывающая выбор задач, выполнение и критерии оценки.
• Android Bench GitHub Repository: Официальный код и документация для фреймворка бенчмарков.
• Harbor Framework: Официальный сайт Harbor для оценки агентов в изолированной среде.
• Jetpack Compose Documentation: Официальная документация по набору инструментов Android UI, актуальная для многих задач разработки под Android.## РезюмеОбновление Android Bench от Google — это не просто обновление таблицы лидеров. Переход на фреймворк Harbor позволяет бенчмарку больше сосредоточиться на воспроизводимой, изолированной и специфичной для Android оценке агентов.Новый рейтинг ставит Claude Fable 5 на первое место, за ним следуют GPT 5.5 и Claude Sonnet

1. Gemini сохраняет конкурентоспособность, но не лидирует в обновленном рейтинге, а Gemini 3.5 Flash показывает, что более легкие модели не обязательно быстрее или дешевле в задачах оценки кодинга с агентами.Для разработчиков и AI-команд полезный вывод — сравнивать вместе точность, задержку, стоимость и методологию бенчмарка. Android Bench лучше всего воспринимать как практический сигнал для агентов кодинга под Android, а не как универсальный рейтинг всех AI-моделей.