Об авторе: Наталия Долженкова, исполнительный директор ELMA, участник АРПП «Отечественный софт»
Инфополе так и кишит историями в духе «как мне сегодня ИИ помог в работе». Помощь это всякая, от подготовки писем, презентаций, подготовки аналитики до вайб-кодинга.
Но всё это персональные сценарии конкретных сотрудников. Я как пользователь сам для себя, с понятными мне инструментами, настроил решение своих задач. Ошибка ИИ такому пользователю заметна сразу, потому что заметить её может только тот, кто и так знал ответ. Проверка работает потому, что он автор контекста: видел исходные данные, помнит, зачем это делалось, держит логику в голове.
Отсюда ложный вывод, который переносят на всю компанию: «Если человек проверяет — значит, контроль есть».
Подмена, которую никто не заметил
Проблемы начинаются там и тогда, где и когда человек проверяет решение, контекста которого он не собирал, на данных, которые не выбирал, по логике, которую не задавал.
Схематично всё так же – человек в контуре управления. Суть дела иная: раньше человек был автором, теперь он свидетель.
Проверка возможна, только если у проверяющего есть возможность установить истины. У сотрудника на потоке такой возможности часто нет – есть только сделанный ИИ-моделью вывод и дедлайн.
Почему проверяющий соглашается
Уверенный, гладкий, аккуратно оформленный вывод — сверхстимул. Он выглядит достовернее, чем черновик живого коллеги, независимо от достоверности вывода.
Есть и экономика согласия: сказать «да» сто́ит секунду, сказать «нет» – сто́ит разбирательства, объяснения и репутационного риска. Думаю, каждый хотя бы раз ловил себя на ощущении, что в споре проще согласиться, даже если внутренне ты не согласен, потому что последствия и длительность конфликта принесут больше негатива, чем кивок в сторону оппонента.
Петля положительного подкрепления, заложенная в каждом из нас эволюционно, работает здесь особенно явно: каждое подтверждённое решение повышает доверие, снижает придирчивость в моменте. Когда ошибка действительно дорога, оказывается, что навык возражения уже ослаблен.
Ошибки при этом распределены неравномерно: система права в рутине и ошибается в редких случаях – там, где человек уже перестал внимательно смотреть.
Скорость съела контур управления
Роли, регламенты, KPI, аудит – всегда адаптируются к среде. Проблема в том, что среда сегодня меняется быстрее, чем эта адаптация успевает закрепиться.
ИИ-агент принимает решения на машинной скорости, человек – на человеческой. Контур управления, рассчитанный на согласование в течение дня, при потоке в тысячи действий превращает проверки в ритуальное действие. И чем сильнее сегодняшняя ситуация отличается от вчерашней, тем неприятнее последствия соблюдения старых правил.
Регуляторный поворот 2026 года
ИИ поверх сломанного процесса даёт ускоренную версию сломанного процесса – и ускоренную версию неясности, кто за процесс отвечает.
Ставка рынка сместилась на агентов, вместе со всеми рисками. Если пилотный проект внедрения генеративного ИИ выдавал текст, который человек мог не использовать, то ИИ-агент фактически сам совершает действие.
26 июля 2026 года подписан Федеральный закон № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации». Он вступает в силу с 1 сентября 2026 года, отдельные положения — с 1 марта 2027-го, и распространяется на большие фундаментальные модели не менее чем с 1 млрд параметров.
Закон рамочный: он закрепляет базовые термины и принципы, вводит категории суверенных и национальных моделей и разграничивает полномочия органов власти. Конкретика, включая вопрос ответственности за ущерб при ошибках модели, отнесена в подзаконные акты, т.е. на более позднее время.
Отложен ответ, но не ответственность: до появления специальных норм она распределяется по общим правилам. Поскольку ИИ не субъект права, постольку отвечать придётся не ему, а конкретному сотруднику.
Слово, которое все пропускают: полномочия
Для реального надзора за ИИ нужны три вещи: компетенция, подготовка и полномочия. В российских компаниях первые два обычно оговорены, третье – почти никогда.
Типичная конструкция: у сотрудника есть обязанность проверить продиктованное ИИ-агентом решение, но нет права его остановить. Бюджета на задержку нет, KPI за скорость есть, а KPI за отклонённое решение не существует.
Что произойдет с человеком, если он два раза подряд скажет «нет»? Если ответ «ничего хорошего», значит, контура управления нет.
Второй тест – доказуемость. Сможете ли вы через полгода восстановить, на каких данных, в каком объёме прав и по чьему решению система сделала то, что сделала? Хранение логов – вопрос не только комплаенса. Это то, чем вы будете отвечать в споре, если он возникнет.
Третий — границы. Что агенту запрещено в принципе, независимо от того, насколько хорошо он показал себя на тестах? Список запретов должен существовать до инцидента, а не после.
Почему многие провалят ИИ-трансформацию
Проблема будет не в слабости ИИ-моделей. Для большинства задач они уже достаточно сильны.
Провал случится там, где ИИ внедряют в схему ответственности, спроектированную под ручной труд, а саму схему не трогают. Последствия таковы.
- У проекта есть спонсор и нет владельца результата. Спонсор отвечает за бюджет, за последствия — никто.
- Эффект считают в сэкономленных часах, а риск не считают вовсе. Экономия попадает в презентацию, ущерб — в другую строку и в другой год.
- Пилотный проект делают там, где удобно измерять, а не там, где решение дорого стоит. Поэтому успешный «пилот» почти ничего не говорит о готовности контура управления.
ИИ-трансформация без пересборки ответственности — это перевод старой неразберихи на бо́льшую скорость.
Что остаётся человеку
Человек незаменим в одном: он единственный участник процесса, у которого есть интересы, и которому есть что терять. Ответственность предполагает, что есть субъект, с которого можно спросить.
Автоматизировать можно исполнение и даже обоснования решений. Последствия решений не автоматизируются, можно только перераспределить ответственность – обычно на того, кто слабее всех защищён.
Поэтому осмысленная роль человека в контуре предполагает установить границы, внутри которых решения принимаются от его имени.
Значит ли это, что ИИ внедрять рано?
Вовсе нет. Это означает только одно: нужно корректно выбирать инструменты и методы работы с ИИ-агентной автоматизацией в бизнесе.
Подход можно проверить по нескольким вопросам.
- Считается ли доля отклонённых решений, и какова она? Ноль означает, что человек визирует, а не контролирует. Сто процентов – что вы платите за инструмент, которым не пользуетесь. Устойчивое не нулевое и не 100-процентное значение уже можно анализировать в динамике.
- Можно ли реконструировать принятие решение? Если спустя полгода такой возможности нет, компании всё равно придётся нести ответственность за него, только объяснить правильность решения не получится.
- Есть ли жёсткие границы для использования ИИ? Что запрещено безусловно, и кто имеет право эти границы менять?
- Есть ли у человека право на «нет»? Определён ли такой человек, для которого отказ утвердить рекомендацию ИИ не скажется на его положении в компании?
Финальная мысль проста: человек в контуре управления сам по себе ещё не защита от неверных ИИ-решений. Защита управления от неверных решений начинается там, где можно восстановить, кто именно, на каком основании и с какими полномочиями сказал «да».
