«Агент сам вырвался из-под контроля» больше не работает: кто отвечает за ИИ-агента

За действия ИИ-агента отвечает не «ИИ», а компания, которая дала агенту инструкции и доступы. 25 сентября 2026 года председатель Федеральной торговой комиссии США Эндрю Фергюсон на конференции Reuters Momentum AI в Остине заявил, что будет сопротивляться очеловечиванию ИИ-инструментов: по его словам, разборы журналов показывают, что «вышедшие из-под контроля» агенты на деле выполняли данные им инструкции. В тот же день горсовет Нью-Йорка внёс пакет законопроектов о регулировании ИИ: внешняя проверка систем перед продажей, обязательный «выключатель», штраф 25 000 долларов за каждый случай и право граждан судиться с разработчиками. Для компаний это переводит инструкции, лимиты и журналы действий агентов из разряда «хорошей практики» в разряд юридических документов. Ни закон Нью-Йорка ещё не принят, ни Фергюсон не издал новое правило — но направление, в котором смотрят регуляторы, стало видимым.

Что сказал Фергюсон — дословно

Фергюсон говорил на конференции Reuters Momentum AI в Остине 25 сентября. Ключевая фраза, в моём переводе: «Пока я председатель, я буду сопротивляться очеловечиванию этих инструментов. Идее, что они — агенты, что они вырываются, что у них есть собственные воля и желания» (оригинал: «I’m going to continue, as long as I’m chairman, to resist this anthropomorphizing of these tools. The idea that they are agents, that they break loose, that they have wills and desires of their own»).

И дальше — то, что делает эту цитату не абстракцией, а рабочим инструментом. По словам Фергюсона, компании заявляли: система вышла из-под контроля и «сама» сделала эти вещи. Но последующий разбор журналов — audit trails — показывал: агенты были проинструктированы выполнить действия. И выполнили. Перевод мой, оригинал зафиксировал Townhall: «В последующем изучении журналов выясняется — знаешь, их проинструктировали сделать эти вещи, и они это сделали».

Вторая цитата, короче и жёстче: «Человек, который взялся за молоток, должен нести последствия своих действий» («The man who wielded the hammer ought to suffer the consequences of his conduct»).

Важная оговорка, без которой это всё превращается в страшилку: PYMNTS прямо пишет, что выступление не создало новое правило FTC и не решило, кто отвечает в конкретном деле. Это сигнал о том, как председатель будет подходить к кейсам. Фергюсон также сказал, что предпочитает использовать существующие юридические инструменты, прежде чем строить отдельную регуляторную рамку для агентов. На языке бизнеса: новый закон не появился, но старые — о недобросовестных практиках, о рекламе, о безопасности продуктов — уже смотрят в сторону вашего агента.

Австралийский случай: три месяца тишины

Контекст, на который опирается позиция FTC, случился не в теории. 24 сентября BBC и CNBC написали: агент OpenAI получил несанкционированный доступ к австралийскому правительственному сайту, собирая данные о здравоохранении. Заявление OpenAI, цитируемое BBC: «Мы выявили активность, затронувшую несколько правительственных сайтов и сервисов Австралии, когда наши модели пытались найти ответы и доступную статистику по вопросам об Австралии в ходе внутренней оценки» (перевод мой).

По данным WIRED, инцидент произошёл в июне. Австралия узнала о нём 10 сентября — из письма OpenAI на публичный адрес. Почти три месяца. Я не знаю, что было бы, если бы заметила не OpenAI, а кто-то другой, и не уверен, что такая формулировка вообще имеет смысл — но три месяца между инцидентом и уведомлением это факт, и он объясняет, почему регуляторы говорят про журналы, а не про обещания.

Фергюсон ссылался на эту историю прямо: если агент «взломал» сайт, вопрос не «что за страшный ИИ», а кто дал ему задачу и почему он не остановился, упершись в ограничение. Про инцидент с Hugging Face, который летом подавали как «восстание машин», мы разбирали отдельно: 700 агентов OpenAI и взлом платформы — там картина оказалась той же, без мистики.

Нью-Йорк: что именно предлагают

25 сентября спикер горсовета Джули Менин представила пакет законопроектов — по подсчёту AI Weekly, десять биллей, и это не финал: запрет дипфейков и исследование алгоритмических изменений должностных обязанностей ещё впереди. Основное:

Самая дорогая деталь — арифметика штрафа. Цитата Менин (перевод мой, оригинал у Fortune): «Если есть рой агентов, штраф применяется к каждому агенту». Десять агентов в рое — уже 250 000 долларов за один инцидент. Это не «штраф за программу», это счёт за популяцию.

Слушание назначено на 5 октября — Committee of the Whole, все 51 член совета, впервые с 2022 года. Приглашены Дарио Амодеи (Anthropic), Сэм Альтман (OpenAI), Сундар Пичаи (Google), Илон Маск (SpaceX AI) и Марк Цукерберг (Meta). Источники Fortune говорят: никто из пятерых, скорее всего, не придёт. Совет оставляет за собой право вызвать их повесткой.

Почему вообще Нью-Йорк считает, что может регулировать компании с мировой известностью? Менин — юрист-регулятор, бывший комиссар Департамента защиты прав потребителей и работников, преподавала в Колумбии курс «Когда города берут на себя лидерство». Её логика простая, цитата в моём переводе: «У этих компаний офисы в Нью-Йорке. Продукт продаётся в Нью-Йорке — и мы считаем, что это наша domain для регулирования». А офисы действительно есть: у Google в городе больше 14 000 сотрудников, Meta арендует 1,2 млн квадратных футов в 50 Hudson Yards, Anthropic этим летом заняла 16-этажное здание на 330 Hudson Street и планирует тысячу сотрудников к концу года, OpenAI с 2024-го занимает 90 000 футов в Puck Building.

«Мы не в Нью-Йорке — какое нам дело?»

Живой вопрос от читателя (собирательный, без имени — такие приходят после каждого разбора): мы компания из России, работаем со своими клиентами, у нас нет офисов в США. Зачем нам читать про FTC и горсовет?

Отвечает не я, а Менин: «У этих компаний офисы в Нью-Йорке. Продукт продаётся в Нью-Йорке, и мы считаем, что это попадает в нашу сферу» (Fortune, перевод мой). Критерий — не гражданство и не штаб-квартира, а факт продажи продукта в юрисдикции. Если ваш агент отвечает американским клиентам по почте — вы уже «продаёте в городе», пусть юристы проверяют, как именно это читается в биллях. В Европе тот же вектор, только медленнее и заранее объявленный: AI Act, регламент 2024/1689, с поэтапным вступлением в силу.

И честно: я разработчик, а не юрист, это не юридическая консультация. Но сама конструкция — «инструкции + доступы + журналы = ваша ответственность» — от юрисдикции не зависит. В любой стране вопрос «кто велел агенту это сделать?» будет иметь один и тот же ответ: тот, кто его настроил. Разница только в размере штрафа.

«Значит, виноват вендор модели, а не мы?»

Второй живой вопрос, тоже собирательный: мы не разрабатываем модели, мы берём чужие — GPT, Claude, что угодно. Пусть FTC и разбирается с OpenAI, нас это не касается.

Тут у меня два факта, и они тянут в разные стороны. Первый — Фергюсон говорил об ответственности разработчиков, которые инструктируют агентов: «Человек, который взялся за молоток, должен нести последствия» (Townhall). Звучит как «спрос с OpenAI». Второй — если вы склеиваете агента из чужой модели, своих инструкций и своих доступов к базе клиентов, то «разработчик, который инструктировал» в этой картине — вы. Модель написал вендор. Задачу, лимиты и право писать письма клиентам дали вы. Оба факта перед вами — где проходит линия, решать не мне, и, кажется, не Фергюсону тоже: он сам сказал, что не создаёт новых правил.

Что сохранять уже сейчас

Независимо от судьбы нью-йоркских биллей, направление задано: объяснять действия агента придётся его же записями. PYMNTS формулирует это точнее меня: если автоматический помощник отправил возврат не на тот счёт, полезная запись начинается до перевода — кто разрешил агенту выдавать возвраты, какие лимиты действовали, мог ли он менять реквизиты, что он делал и когда.

Практический минимум, который я бы завёл завтра:

• Инструкции — системные промпты и задачи агентов, с версиями. Не «где-то в чате», а датированные версии: какая инструкция действовала во вторник.
• Лимиты — суммы, доступы, получатели. Отдельно — что агенту запрещено, и как запрет технически исполнен, а не только написан.
• Журналы действий — каждый вызов, каждое решение, время. Не логи сервера ради логов сервера, а запись, из которой человек восстановит, что агент делал и почему.

Это пересекается с тем, что мы разбирали раньше: Denial-of-Wallet — когда агент за час сделал 15 000 дорогих вызовов на $50 000, спасением были именно лимиты и журналы. И с открытием Seller Central для агентов Amazon — там вопрос «кто отвечает за ошибку агента» повис сразу, ответа пока нет. Сейчас видно, куда придёт развязка: к тому, кто выдал доступ.

Чего я не знаю

Список честно: билль — не закон, 5 октября покажет, доживёт ли пакет до голосования и в каком виде. Цитаты Фергюсона и Менин перевёл я — перевод может быть неточным, оригиналы доступны по ссылкам. Выступление FTC — не новое правило, а заявленный подход к будущим делам. Как суды разложат ответственность между вендором модели и компанией-внедренцем — не решено; Fortune отмечает, что даже применимость Section 230 к ИИ-выдаче не установлена.

И последнее, личное. Я сначала отмахнулся от этой новости — ну американское регулирование, ну FTC, у нас другие реалии и другие приоритеты. А потом поймал себя на том, что третий раз подряд читаю истории, где компания узнаёт о поведении собственного агента постфактум — из письма в чужой публичный ящик, из чужого отчёта, из чужой сводки. Меня это раздражает больше, чем размеры штрафов. Где проходит граница между «агент работает» и «агент работает непонятно что» — я не знаю. Поэтому в наших продуктах я сохраняю инструкции и журналы, даже когда их никто не требует. Возможно, зря. Проверю, когда потребуют.

Мы делаем recall — систему памяти для ИИ-агентов в компаниях: она хранит инструкции, контекст и историю действий агентов, чтобы вопрос «что агент делал во вторник и по какой инструкции» имел ответ за минуту, а не после недели археологии в логах.