Безопасный корпоративный AI: почему чат-бота мало
Корпоративный AI отличается от чат-бота не размером модели, а тем, что у каждого ответа есть прослеживаемое основание: кто спросил, к каким данным имел право и откуда взят факт.
«Мы поставили чат-бота» — и почему это ещё не корпоративный AI
Типовой сценарий: подразделение разворачивает языковую модель, подключает к ней выгрузку документов и показывает демо. Демо работает. Дальше начинается разрыв: служба безопасности спрашивает, куда уходят промпты; юристы — на каком основании в модель попали персональные данные; владелец процесса — почему ответ нельзя приложить к решению, если под ним нет источника. Проект останавливается не из-за качества модели, а из-за отсутствия контура вокруг неё.
Корпоративный AI отличается от чат-бота не размером модели, а тем, что у каждого ответа есть прослеживаемое основание: кто спросил, к каким данным он имел право, откуда взят фрагмент, что было записано в журнал и кто отвечает за последствия. Всё остальное — управляемость, стоимость, масштабирование — следствия этого.
Периметр риска: где корпоративный AI ломается
Риски AI-контура не сводятся к «модель может ошибиться». Ниже — места, где в реальных внедрениях возникают инциденты, и то, что каждый из них означает технически.
| Риск | Что происходит технически | Чем закрывается |
|---|---|---|
| Утечка через контекст | В промпт подставляются фрагменты, к которым пользователь не имеет доступа в системе-источнике: RAG отдаёт документ, не проверив права. | Проброс прав пользователя в поисковый слой, фильтрация на этапе retrieval, а не на этапе ответа |
| Промпт-инъекция | Инструкции для модели приходят внутри данных — в письме, PDF, странице сайта — и модель исполняет их как команду пользователя. | Разделение каналов «инструкция» и «данные», санитизация вложений, запрет на вызов инструментов из недоверенного контекста |
| Отравление индекса | В базу знаний попадает документ с заведомо ложным или враждебным содержимым и становится «источником истины» для всех ответов. | Контроль происхождения документов, версионирование индекса, ревизия источников, возможность откатить индекс |
| Теневой AI | Сотрудники несут данные в публичные сервисы, потому что внутренний контур медленный или его нет. | Доступный внутренний сервис плюс сетевые политики; запрет без альтернативы не работает |
| Эскалация через инструменты | Агент получает доступ к API, почте, ERP и выполняет действие от имени сервисной учётной записи с избыточными правами. | Отдельная учётная запись на инструмент, минимальные права, подтверждение необратимых действий человеком |
| Немой отказ | Модель уверенно отвечает там, где данных нет; ошибка попадает в бизнес-решение и обнаруживается через недели. | Обязательная цитата источника, порог уверенности, честный ответ «не знаю» и маршрут к человеку |
| Непрослеживаемость | Инцидент есть, но восстановить, что видела модель в конкретном диалоге, невозможно: логируется только текст ответа. | Журнал промпта, извлечённых фрагментов, версии модели и версии индекса |
Архитектура: пять слоёв защищённого AI-контура
Управляемый контур собирается из пяти слоёв. Пропуск любого из них даёт ровно те риски, что перечислены выше.
1. Идентификация и доступ
Пользователь входит в AI-сервис через корпоративный каталог, а не через отдельную учётную запись. Его роли и группы должны доезжать до поискового слоя: если в источнике он видит три папки из десяти, то и модель отвечает по трём. Отдельная задача — учётные записи агентов и интеграций: у них свой жизненный цикл, свои секреты и своя ротация, и здесь работает та же дисциплина, что в IDM/PAM и управлении доступом.
2. Шлюз и политики
Между пользователем и моделью стоит слой, который применяет правила: какие данные можно отправлять, какие категории запрещены, какие ответы требуют подтверждения, какие инструменты доступны в этой роли. Здесь же — квоты, тайм-ауты и защита от исчерпания бюджета. Шлюз обязателен и для внешних моделей, и для собственных: он единственная точка, где политику можно менять централизованно.
3. Модели и вычисления
Выбор между внешним API и собственным контуром — вопрос не идеологии, а класса данных. Для коммерческой тайны, ПДн и кода практичнее свой периметр: модель работает на подконтрольных мощностях, промпты не покидают контур. Это уже инфраструктурная задача — память, ускорители, отказоустойчивость, стоимость токена; ей посвящено направление AI-инфраструктуры и вычислительных мощностей.
4. Данные и знания
Слой, который отвечает на вопрос «откуда факт». Здесь живут коннекторы к источникам, нормализация, разбиение на фрагменты, векторный индекс, права на уровне фрагмента и правила обновления. Практическая реализация — Enterprise RAG; проверить гипотезу на своей базе знаний дешевле всего RAG-пилотом.
5. Наблюдаемость и ответственность
Журналы, метрики качества, разбор инцидентов и владелец у каждого сценария. Без этого слоя невозможно ни доказать корректность, ни улучшать систему: не на чем измерять. События AI-контура имеет смысл заводить в общий мониторинг ИБ — SIEM, SOAR, SGRC, чтобы AI не оставался слепой зоной.
Собранные вместе эти слои — это то, что мы разворачиваем как Restart AI Enterprise Platform и проектируем в рамках решения «Защищённый корпоративный AI».
Данные: классификация раньше моделей
Главный вопрос внедрения — не «какая модель», а «какие данные ей можно». Ответ начинается с классификации: открытые, внутренние, конфиденциальные, ПДн, сведения ограниченного доступа. Для каждой категории фиксируется режим: можно ли отправлять во внешний сервис, нужно ли обезличивание, где хранится индекс, сколько живут журналы.
- Обезличивание и маскирование. Значительная часть сценариев не требует настоящих ПДн: для аналитики, тестов и обучения достаточно маскированных данных. Это отдельная инженерная работа — маскирование и обезличивание, — и она сильно расширяет список сценариев, разрешённых без дополнительных согласований.
- Права на уровне фрагмента. Документ может быть доступен целиком, а его приложение — нет. Если индекс хранит только ссылку на документ, разграничение сломается на первом же исключении.
- Свежесть и происхождение. У каждого фрагмента должны быть источник, дата и версия. Ответ на основании документа, отменённого полгода назад, формально корректен и фактически вреден.
- Качество исходников. Модель не чинит противоречия в данных, она их усиливает и делает убедительными. Про это — отдельный материал «Почему AI-проект начинается с данных».
Наблюдаемость: что логировать и что измерять
Минимальный набор событий, без которого разбор инцидента невозможен:
- идентификатор пользователя и его роли на момент запроса;
- текст запроса и полный собранный контекст — список извлечённых фрагментов с их источниками и версиями;
- версия модели и версия индекса — иначе воспроизвести ответ через месяц нельзя;
- вызовы инструментов: что, с какими параметрами, от чьего имени, с каким результатом;
- решения политик: что было заблокировано, замаскировано или потребовало подтверждения.
Метрики, которые действительно управляют качеством: доля ответов с подтверждённым источником, доля честных отказов, доля запросов, ушедших к человеку, время до ответа, стоимость сценария и — главное — доля ответов, которые пользователь применил в работе. Последняя метрика неудобна в сборе и полезнее всех остальных: она отличает используемую систему от красивой.
Регуляторика: что применимо в российском контуре
- Персональные данные. Если в промптах или индексе есть ПДн — работают требования 152-ФЗ: основания обработки, локализация баз, модель угроз, уведомление Роскомнадзора. Обвязка описана в решении «152-ФЗ и персональные данные».
- Значимые объекты КИИ. Внедрение AI-сервиса в контур значимого объекта — изменение, которое проходит по правилам 187-ФЗ: категорирование, согласование, меры защиты. См. «Защита КИИ / 187-ФЗ».
- Коммерческая тайна. Режим КТ требует учёта носителей и доступа. Индекс RAG — носитель, и его нужно включать в перечень наравне с файловым хранилищем.
- Отраслевые требования. Для банков и платёжной инфраструктуры добавляются нормативы ЦБ; для государственных систем — требования к ГИС («Защита ГИС»).
Сводить эти требования к контрольным процедурам и следить за их исполнением помогает Security & Compliance AI, а разовую оценку соответствия даёт комплаенс-практика.
Чек-лист: готов ли ваш AI-контур
Пройдите по пунктам. Каждое «нет» — не приговор, а конкретная задача в дорожную карту.
Доступ
- Вход в AI-сервис идёт через корпоративный каталог, а не через локальные учётные записи.
- Права пользователя применяются на этапе поиска фрагментов, а не постфактум.
- У каждого агента и интеграции — отдельная учётная запись с минимальными правами и ротацией секретов.
Данные
- Есть классификация данных и для каждой категории описан режим использования в AI.
- Известно, где физически лежат индекс, кэши и журналы.
- Для сценариев, не требующих настоящих ПДн, применяется обезличивание.
- У каждого фрагмента индекса есть источник, версия и дата.
Контроль ответов
- Ответ содержит ссылки на источники, а не пересказ без оснований.
- Система умеет отвечать «не знаю» и передавать вопрос человеку.
- Необратимые действия агента требуют подтверждения человеком.
Наблюдаемость
- Диалог воспроизводим: сохранены контекст, версия модели и версия индекса.
- События AI-контура попадают в общий мониторинг ИБ.
- У журналов есть срок хранения и разграничение доступа.
Ответственность
- У каждого сценария есть владелец со стороны бизнеса.
- Описан порядок разбора инцидента: кто смотрит логи, кто принимает решение, как откатывают индекс.
- Есть внутренние правила использования AI, и сотрудники о них знают.
С чего начать
Порядок, который на практике даёт результат быстрее всего:
- Инвентаризация сценариев и теневого AI — AI-discovery: где уже используется AI, какие данные туда уходят, какие сценарии дают эффект.
- Оценка контура на риски — Secure AI audit: разбор доступа, данных, журналирования и политик с перечнем конкретных доработок.
- Пилот на реальной базе знаний — RAG-пилот: проверка качества ответов и разграничения прав на ограниченном контуре.
- Промышленный контур — Restart AI Enterprise Platform и защищённая AI-автоматизация для сценариев, где агент выполняет действия, а не только отвечает.
Смежные материалы: данные как фундамент AI, страница для AI-агентов на вашем сайте. Если нужен разговор про конкретный контур, а не про общую картину — напишите нам.
Обсудим ваш контур
Опишите задачу, текущие системы, ограничения и ожидаемый результат. Мы предложим первый практичный шаг: диагностику, пилот, аудит, дорожную карту или проектную команду.
