ИИ-агенты (AI agents) — системы, которые воспринимают окружающую среду и совершают действия с определенной степенью автономности, при необходимости используя внешние инструменты для достижения конкретных целей и адаптации к изменяющимся входным данным и контексту.
Агентный ИИ (Agentic AI) обычно означает системы, состоящие из нескольких координируемых ИИ-агентов, способных декомпозировать задачи, взаимодействовать между собой и автономно достигать сложных целей на протяжении длительного времени. Такие системы проектируются для работы в более открытых и менее предсказуемых физических и виртуальных средах и способны функционировать при минимальном участии человека. (доклад Организации экономического сотрудничества и развития (OECD) «TheagenticAIlandscapeanditsconceptualfoundations»).

В европейском законодательстве, включая EU AI Act отсутствует отдельное нормативное определение термина ИИ-агента (AI Agent). В статье 3(1) EU AI Act закреплено общее определение «ИИ-системы». Это сделано для того, чтобы регуляторные нормы оставались исполнимыми независимо от эволюции внутренней архитектуры программного обеспечения.
В экспертных материалах Европейского надзорного органа по защите данных (EDPS) и Европейской комиссии ИИ-агенты рассматриваются как разновидность продвинутых ИИ-систем, обладающих специфическими функциональными свойствами:

1. Способность разбивать высокоуровневую цель, поставленную человеком, на подзадачи и определять порядок их выполнения.
2. Агент взаимодействует с внешней средой через API, базы данных, веб-браузеры, платежные шлюзы и сторонний софт.
3. Выполнение промежуточных шагов без обязательного одобрения человеком каждого отдельного действия.
4. Физическое или виртуальное воздействие (отправка писем, совершение финансовых транзакций, изменение записей в CRM/ERP, публикация контента).
5. Оценка результатов своих действий и корректировка планов в режиме реального времени.

Таким образом, ИИ-агент подпадает под сферу действия EU AI Act, если соответствует определению ИИ-системы по ст. 3(1) и вводится в эксплуатацию или размещается на рынке ЕС.
Если агент построен на базе сторонней модели ИИ общего назначения (GPAI-модели, например GPT-4 или Claude family models), в рамках комплаенса возникают два раздельных объекта регулирования: сама базовая модель (отдельные регуляторные обязанности провайдера GPAI-модели по Главе V AI Act) и конечная ИИ-система/агент (ответственность провайдера системы по Главе III).

AI Act кроме этого разграничивает обязанности участников жизненного цикла ИИ-системы. Так, поставщиком (provider) признается лицо или организация, разрабатывающая ИИ-систему либо выводящая ее на рынок или вводящая в эксплуатацию под своим именем или товарным знаком. Именно поставщик, как правило, несет основную регуляторную нагрузку: обеспечивает соответствие AI Act, подготавливает техническую документацию, проводит оценку соответствия и выполняет требования, предъявляемые к системам высокого риска.
Эксплуатирующая организация (deployer) — лицо или организация, использующие ИИ-систему в рамках своей профессиональной деятельности. На эксплуатирующую организацию возлагаются обязанности по надлежащему использованию системы, осуществлению человеческого надзора, мониторингу работы ИИ-системы, обеспечению обучения персонала и т.п. При существенной модификации ИИ-системы эксплуатирующая организация может быть переквалифицирована в поставщика с возложением полного объема обязанностей, предусмотренных AI Act.

Регуляторные требования к ИИ-агенту зависят не от его внутренней архитектуры, а от того, какие данные он обрабатывает, на какие права влияет и в каком секторе экономики развернут.

ПоAIAct применяется риск-ориентированный подход:

• ИИ-агенты не должны подпадать под список запрещенных практик в статье 5 AI Act, например, использовать методы манипулирования поведением или эксплуатировать уязвимости людей, что может повлечь причинение вреда.
• Если ИИ-агент относится к категории высокого риска (ст.6. AI Act, Приложения I, III), т.е. используется в критических сферах (подбор персонала, оценка кредитоспособности, управление критической инфраструктурой, медицина), провайдер обязан выполнить требования Главы III (создание системы управления рисками, обеспечение качества данных, ведение логов, обеспечение человеческого надзора и кибербезопасности).
• Если ИИ-агент непосредственно взаимодействует с физическими лицами, пользователь должен быть проинформирован о взаимодействии с ИИ, если это не очевидно из контекста (ст. 50 AI Act). Для синтетического контента действуют отдельные правила прозрачности, включая обязательную маркировку материалов, которые создал или изменил ИИ (ст. 50 AI Act).

Наряду с AI Act к ИИ-агентам применяется массив горизонтального и секторального законодательства ЕС, например:

• GDPR (Регламент 2016/679) применяется практически всегда, поскольку агенты обрабатывают персональные данные в промптах, логах, CRM и открытых источниках. Соблюдение принципа privacy by design становится архитектурным требованием. Особое значение имеет ст. 22 GDPR, предоставляющая субъекту данных право не подпадать под решения, основанные исключительно на автоматизированной обработке, если такие решения имеют правовые последствия или аналогичным образом существенно затрагивают лицо.
• CyberResilienceAct (CRA, Регламент 2024/2847) применяется, если ИИ-агент поставляется как коммерческое ПО с сетевым подключением. Требует обеспечения безопасности на протяжении всего жизненного цикла и раскрытия уязвимостей.
• DigitalServicesAct (DSA, Регламент 2022/2065) можетприменяться, если ИИ-агент используется в рамках посреднических услуг или на онлайн-платформах (например, модерация контента или публикация на маркетплейсах).
• DataAct (Регламент 2023/2854) регулирует доступ, использование и совместное использование данных, генерируемыми подключенными продуктами (IoT) или связанными сервисами.
• NIS 2 Directive (Директива 2022/2555) содержит требования к кибербезопасности для критически важных секторов экономики. В рамках этих требований регулируемые компании обязаны учитывать риски в цепочке поставок. На практике это означает, что к поставщикам ИИ-решений теперь предъявляются повышенные требования в области кибербезопасности и условий контрактов.
• ProductLiabilityDirective (EU) 2024/2853 прямо относит программное обеспечение и ИИ к категории «продуктов». Провайдер несет строгую (безвиновную) ответственность за ущерб, если программное обеспечение признается дефектным с точки зрения безопасности, которую пользователь вправе разумно ожидать.
• Секторальное законодательство (MDR, MiFIDII, DORA).

• ИИ-агент по клиентской поддержке (общается с клиентами в чате, ищет данные в вашей системе, сам оформляет возвраты денег и меняет статус заказов). Необходимо соблюдение требований прозрачности по ст. 50 AI Act (информирование пользователя о том, что он общается с ИИ-системой), а обработка переписок и историй заказов влечет применение положений GDPR в части защиты персональных данных.

Если агент функционирует в рамках онлайн-платформы, к нему могут применяться обязательства по модерации контента и прозрачности алгоритмов согласно Закону о цифровых услугах (DSA). В случаях, когда агент интегрируется с внутренними системами оценки платежеспособности или лояльности клиентов, возникает риск переквалификации системы в категорию высокого риска по Приложению III к AI Act. Агенты в сфере управления персоналом и рекрутинга (автономный скрининг и ранжирование резюме, первичные собеседования в чат-интерфейсах, планирование встреч через API корпоративных календарей, генерация мотивированных отказов либо офферов).

• Использование ИИ-систем для целей рекрутинга, отбора кандидатов или принятия решений в сфере занятости, как правило, квалифицируется каквысокий риск на основании Приложения III (п. 4a) AIAct. Провайдер обязан развернуть полномасштабную систему менеджмента качества (QMS), провести процедуру оценки соответствия. Автономное принятие решений агентом напрямую ограничивается ст. 22 GDPR (право субъекта не подпадать под решения, основанные исключительно на автоматизированной обработке).

Кроме этого само проектирование таких агентов потребует соблюдения будущихгармонизированных стандартов противодействия дискриминации и предвзятости алгоритмов (например, проект prEN 18283).Ели ИИ-агент проводит анализ видеозаписи интервью соискателя, оценивает его психолингвистические маркеры и софт-скиллы, после чего самостоятельно вносит в ATS-систему статус «Отклонено» и отправляет автоматическое уведомление об отказе, то необходимо соблюдение обязательств по ст. 12 (логирование) и ст. 14 (человеческий надзор) AIAct. Провайдер должен доказать регулятору, что архитектура системы позволяет работодателю осуществлять эффективный контроль над выводами агента, а сам кандидат имеет право на получение разъяснений причин принятого решения.

• Агенты автоматизации разработки и DevOps (Coding and DevOps Agents) (инструменты, способные декомпозировать техническое задание, автономно генерировать программный код, развертывать тестовые среды (staging), запускать CI/CD-конвейеры и осуществлять исправление уязвимостей в репозиториях (Git)). Кроме общих требований к прозрачности по ст. 50 AI Act, необходимо соблюдение Закона о киберустойчивости (Cyber Resilience Act, CRA), поскольку агент выступает компонентом цепочки создания программного продукта, любые дефекты безопасности, привнесенные им, влекут юридическую ответственность лица, выпускающего ПО на рынок. Исполнение агентом произвольного или открытого кода может быть квалифицировано как уязвимость повышенной опасности согласно проекту стандарта Practical Cybersecurity Requirements for AI Systems - prEN 18282.

Например, автономный DevOps-агент обнаруживает баг в коммерческом программном продукте, пишет патч и без одобрения главным инженером совершает коммит непосредственно в основную ветку. Если сгенерированный агентом патч содержит скрытую уязвимость, которая впоследствии приведет к утечке данных, активируется режим строгой ответственности провайдера за дефекты безопасности продукта в рамках CRA, а также солидарная ответственность по Директиве 2024/2853 EC (Product Liability Directive).

• Финансовые и учетные агенты (системы, автоматизирующие распознавание и верификацию инвойсов, сверку их с заказами на закупку, выявление транзакционных аномалий, инициацию платежных поручений через банковские API и ERP-комплексы).

Обработка финансовых данных влечет за собой перекрестное регулирование со стороны секторального законодательства ЕС. Например, если агент используется для оценки платежеспособности или кредитного скоринга физических лиц, он признается системой высокого риска (Приложение III, п. 5b AI Act).
Финансовый агент поддержки B2B-клиентов на основе галлюцинации или некорректной интерпретации контракта автономно одобряет претензию контрагента и через платежный шлюз переводит €500 000 на сторонний счет. Провайдер ИИ-системы может быть привлечен к безвиновной (строгой) гражданско-правовой ответственности за причинение имущественного ущерба, вызванного дефектом функционирования программного обеспечения по Директиве 2024/2853 EC (Product Liability Directive).

• Агенты маркетинга, продаж и контент-генерации (лидогенерация, ведение рекламных кампаний в кабинетах Meta/Google Ads, автоматическое управление контентом в CMS, рассылка персонализированных коммерческих предложений)

При глубокой персонализации текстов на основе анализа профилей пользователей необходимо помнить про строгие запреты на манипулирование поведением (ст. 5 AIAct). Синтетический контент подлежит обязательной цифровой маркировке (водные знаки, метаданные) в соответствии со ст. 50 AI Act. Массовые рассылки и трекинг пользователей регулируются положениями Директивы2002/58/EC(ePrivacy) и нормами GDPR, ограничивающими скрытое профилирование потребителей.

1. Составьте исчерпывающий реестр внешних действий агента, потоков данных, подключенных систем и затрагиваемых лиц.

2. Четко зафиксируйте в технической документации целевое назначение ИИ-агента. Определите, под какую категорию риска он подпадает по AI Act.

3. Если вы разрабатываете открытую платформу агентов, то зафиксируйте в Termsof Service ограничения, запрещающие конечным пользователям развертывать ваших агентов в высокорисковых сферах (например, в медицине), либо изначально проектируйте систему с соблюдением всех регуляторных условий.

4. Внедрите систему менеджмента качества.

5. Используйте сквозной жизненный цикл управления рисками, при анализе рисков агента обязательно учитывайте фактор его автономности, определите границы автоматизации (какие действия необратимы, какие требуют обязательного надзора со стороны человека).

6. Организуйте процессы управления данными (настройте минимизацию данных, фильтрацию персональных данных, попадающих в контекстное окно (память) агента или его логи.)

7. Реализуйте требования ст. 12-14 AI Act по ведению документации, обеспечению прозрачности и предоставлению информации лицам, осуществляющим развертывание, человеческому надзору. Например, логи должны фиксировать существенные события функционирования системы, включая входные данные, действия агента, вызовы инструментов/API, изменения состояния системы и результаты операций в объеме, необходимом для последующего аудита, мониторинга и расследования инцидентов posthoc. Граница автономии агента должна быть гибко настраиваемой с учетом риск-профиля сценария использования. Для критических, юридически или финансово значимых действий рекомендуется внедрение механизмов Human-in-the-Loop или Human-on-the-Loop, обеспечивающих возможность своевременного вмешательства, отмены или подтверждения действий со стороны человека-оператора.

8. Для отдельных сценариев использования систем высокого риска необходимо провести Fundamenta lRights Impact Assessment (FRIA) до ввода системы в эксплуатацию. Такая оценка должна анализировать потенциальное влияние ИИ-агента на фундаментальные права физических лиц, включая риски дискриминации, нарушения приватности, ограничения свободы выражения мнения и иных прав.

9. Обеспечьте соблюдения требований к кибербезопасности (ст. 15(4) AIAct), например, минимизацию привилегий за пределами языковой модели. Сама инфраструктура исполнения агента не должна предоставлять модели прямые административные привилегии. Настройте динамическую авторизацию для каждого действия агента, используйте инфраструктуру управления нечеловеческими учетными записями с постоянной ротацией ключей API.

10.Обеспечьте достаточный уровень грамотности в сфере ИИ сотрудников и подрядчиков, взаимодействующих с ИИ-агентом (ст. 4 AI Act). Организация должна учитывать технические знания, опыт, образование и характер использования системы конкретными категориями персонала. Особое внимание следует уделять сотрудникам, принимающим решения на основе выводов ИИ-агента или осуществляющим человеческий надзор за его действиями.

11. Проведите юридическую экспертизу на соответствие иным применимым нормам (CRA, DSA, DataAct, ePrivacy).

12. Проведите тестирование и валидацию ИИ-агента на точность, устойчивость, надежность и предсказуемость поведения. Зафиксируйте базовые метрики функционирования системы и допустимые границы отклонений, чтобы сформировать эталонную модель для последующего мониторинга дрейфа поведения, деградации качества и возникновения аномалий. При необходимости используйте применимые международные стандарты и фреймворки оценки ИИ-систем (например, ISO/IEC 42001, ISO/IEC TS 4213).

13.Для систем высокого риска (Приложение III AI Act) необходимо подготовить техническую документацию, пройти применимую процедуру оценки соответствия, оформить декларацию соответствия ЕС (EU Declaration of Conformity) и выполнить обязательства по регистрации системы в официальной базе данных ЕС в соответствии со ст. 49 и 71 AI Act. В большинстве enterprise-сценариев Приложения III допускается процедура внутреннего контроля (self-assessment по Приложению VI).

14. Проводите регулярный аудит версий операционного состояния агента (каталог инструментов, привязки политик, состояние памяти), т.к. ИИ-агенты склонны менять характер поведения в процессе эксплуатации из-за изменения контекста, наполнения памяти или обновления внешних API. Настройте автоматические триггеры фиксации дрейфа поведения. Если изменения выходят за допустимые границы, это признается «существенной модификацией» (SubstantialModification согласно ст. 3(23) AI Act), что аннулирует текущую декларацию соответствия и требует прохождения повторной оценки соответствия.

Внедрение ИИ-агентов — это один из быстрых способов кратно сократить операционные издержки бизнеса в 2026 году. Однако, давая ИИ-системе автономию и права на совершение юридически и финансово значимых действий (отправка платежей, подбор кадров, работа с конфиденциальной перепиской), вы берете на себя правовые и финансовые риски.

Любой сбой, генерация недостоверного вывода системой (галлюцинация) или скрытая предвзятость автономного агента могут повлечь за собой прямые финансовые убытки перед клиентами по Директиве 2024/2853 EC (Product Liability Directive), штрафы (могут достигать €35 млн или 7% мирового годового оборота в случае нарушений, связанных до 7% от мирового дохода компании) со стороны надзорных органов за нарушение EU AI Act и GDPR, принудительную блокировку ИТ-продукта на рынке ЕС, что полностью обнулит инвестиции в разработку.

Наша команда обеспечит комплексное сопровождение внедрения ИИ-проектов, проведет оценку вашей ИИ-системы и поможет сформировать безопасную стратегию ее вывода и эксплуатации на европейском рынок.

Если у Вас есть кейс для рассмотрения – вы можете связаться с нами посредством telegram или оставив заявку на сайте. Мы изучим Вашу ситуацию и поможем найти лучший вариант решения.

Компания ALG Legal предоставляет юридические услуги по вопросам легализации, трудовового, корпоративного и налогового права в Польше, а также рассматривает вопросы защиты персональных данных, интеллектуальной собственности и IT-права.