Доверенное агентное ИИ: от чат-ботов к автономным системам

Переход от пассивных базовых моделей к автономным целеориентированным агентным ИИ-системам открыл беспрецедентные возможности за счет сочетания рекурсивных когнитивных циклов рассуждения, архитектур постоянной памяти, сред исполнения инструментов в реальном времени и топологий многоагентного взаимодействия. Однако предоставление вероятностным нейронным ядрам полномочий на выполнение операций в файловых системах, сетях и облачной инфраструктуре разрушает классические периметры безопасности: естественный язык одновременно служит входными данными, внутренним управляющим кодом и протоколом связи, создавая тьюринг-полную зону поражения, где недоверенные данные фактически являются исполняемыми инструкциями. Данный обзор представляет собой комплексную справочную структуру системной безопасности для доверенного агентного ИИ, синтезирующую 206 фундаментальных исследований и регуляторных стандартов. Мы формализуем общую архитектуру агента как 5-кортеж с состоянием и устанавливаем 6-мерную таксономию доверия, охватывающую безопасность, защищенность, конфиденциальность, интерпретируемость, справедливость и подотчетность. Мы систематически анализируем поверхности угроз внутри циклов выполнения и плоскостей взаимодействия, формулируем многоуровневую архитектуру эшелонированной защиты с нулевым доверием, объединяющую изоляцию Dual-LLM, контроль доступа на основе возможностей, зонды eBPF ядра и изолированные среды выполнения, а также сопоставляем технические средства контроля с международными стандартами управления ИИ. Поддержка: https://boosty.to/krastykovyaz Подписывайся - https://t.me/arxivpaper создано с помощью NotebookLM