Когда ИИ-агент становится сотрудником банка
Представьте работника, который может прочитать всю документацию компании за секунду, проанализировать тысячи сделок и составить отчёт, который человек собирал бы неделю. Звучит как мечта любой организации — пока не вспоминаете, что у этого работника нет интуитивного понимания границ. Он не знает, что нельзя, пока ему прямо не сказано. Он не чувствует риска, как чувствует его человек, проживший годы в финансовой системе. Именно эту пропасть пытаются преодолеть инженеры Goldman Sachs: сделать так, чтобы ИИ-агенты не просто работали в банке, а стали его внутренними участниками, понимающими не только букву правил, но и дух, в котором эти правила написаны.
Разница между внешним инструментом и внутренним сотрудником фундаментальна. Внешний сервис получает запрос, выполняет его и отдаёт результат. Контроль происходит на входе и выходе — на входе проверяют, что вам разрешено сделать запрос, на выходе — что результат соответствует ожиданиям. Но когда агент становится частью внутренней инфраструктуры, когда он принимает решения, инициирует транзакции, работает с конфиденциальными данными, такой двухточечный контроль ломается. Нужно контролировать каждый шаг, каждое промежуточное решение, каждое обращение к базе данных. Нужно понять не только то, что агент сделал, но и почему он решил сделать именно так.
Между правилами и здравым смыслом
Любая финансовая организация живёт в сложном переплетении формальных регуляций и неформальных практик. Есть буква закона, есть внутренние политики, есть то, как «обычно делается», и есть то, что никогда не делается, даже если прямо не запрещено. Человек, работающий в банке годами, впитывает этот контекст. Он знает, что определённая комбинация действий выглядит подозрительно даже если формально всё в рамках правил. Он чувствует, когда стоит остановиться и спросить разрешения, даже если инструкция не требует этого. Агент же видит только то, что ему явно прописали. Всё остальное для него либо разрешено, либо не существует.
Инженеры Goldman Sachs сталкиваются с задачей перевести этот молчаливый контекст в явные ограничения и инструкции. Это не просто вопрос добавления больше правил в системный промпт. Дело в том, что правила в финансовой сфере часто противоречивы или зависят от контекста. То, что разрешено в одной ситуации, недопустимо в другой, очень похожей. Человек различает эти ситуации интуитивно, опираясь на опыт и понимание системы. Агент же, получив противоречивые инструкции, либо зайдёт в тупик, либо выберет один из вариантов произвольно. И этот произвол в банковской сфере стоит слишком дорого.
Цена ошибки и архитектура доверия
Когда ChatGPT допускает ошибку в разговоре, пользователь может просто переспросить или уточнить запрос. Когда программа находит уязвимости в Windows, ошибка может привести к пропуску реальной угрозы — но это всё же вопрос безопасности систем, а не прямых финансовых потерь. Но когда ИИ-агент в инвестиционном банке принимает решение о сделке или рекомендует действие клиенту, цена ошибки измеряется не в неудобстве, а в деньгах, регуляторных штрафах и репутации. Именно поэтому вызов инженеров Goldman Sachs не просто технический — это архитектурная задача: как построить систему, в которой агент может действовать эффективно, но при этом каждое его действие проверяемо, объяснимо и обратимо.
Ключ к решению может лежать не в том, чтобы прописать все возможные ограничения, а в том, чтобы встроить агента в процесс проверки так же, как встроен человек. Когда сотрудник банка принимает важное решение, он обычно не действует в одиночку. Есть уровни утверждения, есть коллеги, которые смотрят на ту же задачу с другой стороны, есть автоматические проверки, которые срабатывают независимо от человеческого суждения. Агент может стать ещё одним звеном в этой цепочке — но звеном, которое требует особого внимания к верификации. Не потому что агент обязательно ошибётся, а потому что природа его ошибок отличается от человеческих. Человек может устать, отвлечься, поддаться эмоциям. Агент же может систематически интерпретировать правило не так, как предполагал его автор, и эта ошибка будет воспроизводиться снова и снова, пока её не заметят и не исправят.
Вызов Goldman Sachs — это не вопрос того, можно ли доверять ИИ-агентам. Это вопрос того, как именно это доверие конструируется. Доверие не возникает из того, что система «вроде бы работает». Доверие строится из прозрачности каждого шага, из возможности объяснить любое решение, из наличия механизмов, которые не позволяют одной ошибке разрушить систему. Когда агент становится внутренним участником организации, он перестаёт быть просто инструментом и становится частью ответственности. И это изменение статуса требует пересборки всей архитектуры контроля — от уровня кода до уровня организационных процессов.