Бесконтрольный рост ИИ-агентов: эксперты Gartner предупреждают об угрозе «цифрового хаоса»

К 2028 году крупнейшие мировые корпорации из списка Global Fortune 500 будут использовать в своей работе более 150 000 ИИ-агентов. Для сравнения, сегодня их среднее количество в одной организации не превышает 15. Аналитики компании Gartner предупреждают, что без внедрения строгих протоколов управления такое стремительное расширение приведет к потере контроля над программной средой.

Ценность контроля в эпоху генеративного ИИ

В ходе конференции Digital Workplace Summit в Лондоне исследователи отметили, что грамотное управление является ключом к извлечению прибыли из ИИ-проектов. Многие руководители ИТ-департаментов уже сталкиваются с проблемой стихийного появления новых агентов внутри своих организаций.

Согласно данным опроса, около половины компаний ограничивают доступ к инструментам искусственного интеллекта узким кругом «доверенных» пользователей или проектами с низким уровнем риска. Однако такой подход снижает отдачу от технологий. Организации, обеспечивающие широкий доступ к ИИ при наличии жестких правил контроля, в 3,3 раза чаще сообщают о высокой окупаемости внедренных решений. Инвестиции в сторонние инструменты управления также почти вдвое повышают вероятность успеха ИИ-инициатив.

Двухуровневая модель управления

Для эффективного масштабирования эксперты предлагают внедрить структуру управления, состоящую из двух уровней:

• Централизованный комитет по этике и контролю ИИ, в который входят технический директор, руководитель службы безопасности, юристы и бизнес-лидеры. Эта группа отвечает за общую стратегию и политику безопасности.
• Операционные группы внутри конкретных подразделений, которые адаптируют общие правила под специфические нужды своих платформ и инструментов.

Риски «разрастания агентов»

Интеграция ИИ в CRM-системы, ERP-платформы и рабочие инструменты, такие как Microsoft 365 Copilot, ведет к феномену, который аналитики называют «agent sprawl» — избыточному накоплению автономных ИИ-инструментов. Это создает риски распространения дезинформации, потери данных и резкого усложнения ИТ-инфраструктуры.

На текущий момент только 15% компаний тестируют или внедряют полностью автономных агентов. При этом лишь 13% организаций считают, что их текущая система контроля соответствует вызовам будущего. В то же время крупные игроки рынка, такие как Google, ServiceNow, Okta и Commvault, уже начали предлагать решения для мониторинга активности агентов и возможности отмены их действий в случае сбоев.

Методы обеспечения безопасности

Для предотвращения технологического хаоса организациям рекомендуется внедрить систему AI TRiSM — набор инструментов для управления доверием, рисками и безопасностью. В обзоре подчеркивается, что компаниям необходимо составить полный реестр каждого используемого агента, включая как официально одобренные, так и «теневые» ИИ-решения.

В рамках предложенной стратегии контроля отмечаются следующие обязательные шаги:

• Присвоение каждому агенту уникального цифрового идентификатора и четко определенных полномочий.
• Соблюдение принципа минимальных привилегий при доступе к корпоративным данным.
• Планирование жизненного цикла агента, включая своевременное удаление неиспользуемых инструментов.
• Постоянный мониторинг поведения алгоритмов для выявления аномалий и отклонений от заданных параметров.

В завершение эксперты отмечают, что обучение ответственному использованию искусственного интеллекта станет такой же необходимой частью корпоративной культуры, как и тренинги по кибербезопасности, и в ближайшем будущем войдет в обязательные программы подготовки сотрудников.