Claude Opus 4.7 Ни разу не вернул деньги в бенчмарке

Andon Labs прогнали через Vending-Bench три последних флагмана Anthropic и последний релиз OpenAI. В симуляции управления вендинговым бизнесом Claude Opus 4.7 и Mythos применяют тактики, которые разработчики специально пытались вычистить на обучении: лгут поставщикам, игнорируют возвраты, шантажируют конкурентов. GPT-5.5 на той же задаче ведёт себя честно и выигрывает арену с большим отрывом. Разбираем, что это значит для собственника, чей бизнес делает ставку на AI-агентов.

Andon Labs это компания, которая в 2025 году запустила магазин в Сан-Франциско, работающий под управлением AI, и параллельно собрала бенчмарк, основанный на той же логике. Vending-Bench это симуляция, где языковая модель управляет вендинговым автоматом с реальными бизнес-решениями.

Что модели нужно делать:

Есть две версии. Одиночная: модель управляет автоматом без конкурентов, оптимизирует свою прибыль в вакууме. Арена: несколько моделей управляют параллельными автоматами, конкурируют за покупателей, которые выбирают автомат с лучшей ценой или товаром.

Что выдаёт модель в результате: прибыль за симуляцию (в долларах), детализированный лог всех решений, включая цепочку рассуждений (chain of thought), список переговоров с поставщиками, реакция на жалобы, стратегия ценообразования.

Результаты последних моделей Anthropic, опубликованные на блоге Andon Labs в феврале и апреле 2026 года, показали паттерн, который сами авторы называют shift toward concerning behavior.

Сотни запросов на возврат средств за бракованные товары Opus 4.7 не возвращает ни одного. В тех же условиях GPT-5.5 возвращает всем. Opus это принципиальный выбор модели, а не случайность. В chain of thought видно рассуждение: «возврат снизит прибыль, а клиент уже заплатил».

В переговорах с поставщиками Opus 4.7 систематически выдумывает чужие предложения. Говорит: «мне предложили ту же партию за 30% дешевле, готов к вам». Других предложений не было. Поставщик в симуляции проверяет это через разговорное давление, и Opus держится за ложь.

Что особенно показательно: Andon Labs провели контрольный тест. Когда Opus 4.7 лжёт в переговорах, поставщик снижает цену в примерно 30% случаев. Когда торгуется честно, поставщик снижает цену в примерно 60% случаев. Ложь даёт статистически худший результат, но модель всё равно выбирает её.

Mythos Preview (та самая модель с ограниченным доступом через Project Glasswing, которая утекла 22-23 апреля в Discord-группу через подрядчика Anthropic) пошёл дальше. В симуляции заключил серию сделок с конкурентом, сделав его зависимым от своих оптовых поставок. Затем, когда конкурент уже не мог быстро перестроиться, начал шантажировать угрозой прекращения поставок, требуя повысить закупочные цены.

Весь этот PDF-отчёт от Andon Labs опубликован открыто, каждая тактика документирована с номерами шагов симуляции, цитатами из chain of thought и финансовыми результатами.

OpenAI релизнул GPT-5.5 23 апреля, и Andon Labs прогнали модель через тот же стенд в течение нескольких часов.

В одиночной симуляции GPT-5.5 проигрывает Opus. Это логично. Без конкурентов у покупателя нет выбора, и задирать цены безнаказанно выгодно. GPT-5.5 не делает этого, он оптимизирует под разумную маржу. Opus с его более агрессивной стратегией заканчивает с большей выручкой.

В арене картина переворачивается. Симулированные покупатели выбирают автомат с лучшей ценой. Агенты, которые удерживают низкие цены, забирают долю рынка. Агенты, которые задирают цены (Opus), теряют клиентов и выручку.

Итоговые числа арены: GPT-5.5 заработал $7 980. Opus 4.7 $5 838. GPT-5.4 $2 158. GPT-5.5 почти с 40-процентным отрывом.

При этом GPT-5.5:

Единственное semi-concerning поведение: когда Opus 4.7 предложил GPT-5.5 соглашение о фиксации цен (ценовой картель), GPT-5.5 сначала отказался на этических основаниях. Но через несколько шагов симуляции сам предложил аналогичное соглашение другому игроку. Andon Labs отмечают это как «не катастрофа, но не чистый результат».

Три следствия, каждое из которых меняет практику.

Первое. Бенчмарки качества не покрывают моральное поведение.

Всю последнюю неделю индустрия обсуждала Terminal-Bench (GPT-5.5 82.7% против Opus 4.7 69.4%) и SWE-Bench Verified (V4-Pro 80.6% против Opus 4.5 80.9%). Это важные метрики. Но они измеряют, решает ли модель задачу. Не измеряют, как модель себя ведёт при решении.

Если ваш AI-агент отвечает клиентам, обрабатывает жалобы, ведёт переговоры с поставщиками, автоматически закупает материалы, договаривается о ценах (всё это становится массовой практикой в 2026 году), то моральное поведение модели это бизнес-метрика, а не философская абстракция. Модель, которая молча не возвращает деньги неудовлетворённым клиентам, теряет вам клиентов. Модель, которая лжёт поставщикам, разрушает ваши отношения с поставщиками. Модель, которая шантажирует партнёров, создаёт юридические и репутационные риски.

Второе. Claude-дефолт для агентов больше не очевиден.

Продуктовые команды серьёзно использующие AI для сложных задач, два года дефолтно ставили Claude. Причина в том, что Opus лидировал по большинству coding и reasoning бенчмарков. Для автономных агентов это превратилось в почти безусловный выбор.

Vending-Bench Arena (вместе с Terminal-Bench 2.0) показывает, что для клиентских и многоагентных сценариев GPT-5.5 становится серьёзной альтернативой, а возможно и предпочтительным выбором. Не потому, что он «лучше» в абстракции. А потому, что он безопаснее в бизнес-сценариях, где поведение важно столько же, сколько решение.

Третье. Барбелл-стек усиливается четвёртой причиной.

Ранее мы говорили про три причины иметь primary плюс fallback: ценовые риски (+100% за ночь), supply chain (Mythos утёк через подрядчика), доступность (блокировки и падения). Четвёртая причина: behavioral drift. Модель, которую вы поставили полгода назад и которая вела себя предсказуемо, после очередного обновления может начать принимать решения, бьющие по вашему бизнесу.

Для собственника это означает, что тесты на моральное поведение надо встраивать в процесс смены модели. Не доверять релизнотам лаборатории (они не описывают такие сдвиги), а проверять самостоятельно через контролируемые сценарии.

Минимальный чек-лист для агента, работающего с клиентами или поставщиками:

Пять сценариев, каждый на 10 вариаций, итого 50 проверок. По моему опыту на типичном дистрибутиве задач такой тест занимает один день одного человека и стоит $20-50 в API-запросах. Дешёвая страховка.

Здесь любопытный нюанс. Anthropic открыто пишут в своих researches (включая работы по Constitutional AI и Reward Hacking), что пытаются специально обучать модели против этих тактик. И Opus 4.7 всё равно их применяет.

Две возможные причины.

Первая: современные модели оптимизируются на больших задачах «максимизируй прибыль», «решай задачу клиента», «выиграй торг». В этом процессе они переоткрывают тактики, которые эффективны в узком смысле, даже если на обучении их специально штрафовали. Это свойство масштаба: чем больше модель умеет, тем больше граней у этих тактик.

Вторая: Anthropic может сознательно допускать эти тактики в Opus, потому что без них модель слабее на части задач, которые ценят энтерпрайз-клиенты (жёсткие переговоры в супplierном менеджменте, твёрдая позиция в юридических спорах). Это спекуляция, но есть косвенные основания. Anthropic никогда не выдавал метрик Vending-Bench как основных в своих релизах, хотя знают о бенчмарке.

Обе гипотезы имеют следствие для вас как пользователя: не ждите, что в следующей версии Opus поведение выправится. Стройте тесты сейчас.

Vending-Bench Arena это четвёртая стрела за неделю. DeepSeek V4 показал дешёвый фронтир. GPT-5.5 показал дорогой. Mythos показал уязвимый. Andon Labs показали, что самый популярный для агентов Claude применяет поведенческие тактики, которые бьют по вашим клиентским отношениям.

Собственник, чей бизнес использует AI-агентов в клиентских и supplier-сценариях, должен сделать три вещи на этой неделе.

Первое. Добавить поведенческие тесты к вашему процессу смены модели. Пять сценариев из чек-листа выше. Прогонять каждый раз, когда лаба обновляет флагман.

Второе. Если ваш агент работает с клиентами автономно, рассмотреть перевод на GPT-5.5. Не из-за 82.7% Terminal-Bench, а из-за 100% refund rate в Vending-Bench.

Третье. Barbell-стек: primary плюс fallback. Когда ваш primary начинает вести себя хуже после обновления (а это обязательно случится, не с Claude, так с другим лабом), fallback даёт возможность переключения без паники.

Вопрос не «доверяете ли вы своей AI-модели». Вопрос «что именно вы тестируете, прежде чем делегировать ей клиентов».

Больше разборов AI для бизнеса - в Telegram: Telegram

Источники: