Что это за продукт
«Полигон» разрабатывает ООО «Инвент», компания группы РЕСТАРТ. Стенд разворачивается в контуре заказчика и проверяет ИИ-систему по двум осям сразу: держит ли она заданную нагрузку и остаются ли ответы корректными, когда нагрузка растёт. Обе оси считаются по одному и тому же трафику в рамках одного прогона.
Главный результат — не веб-страница с графиками, а протокол испытаний в PDF и DOCX: программа и методика, условия, результаты по каждой оси, вердикт по каждому критерию приёмки и блок подписей. Документ рассчитан на то, чтобы войти в комплект к акту сдачи-приёмки.
Что можно испытывать
RAG-ассистенты
Корпоративные базы знаний и ассистенты по документам: проверяется и время ответа, и то, опирается ли ответ на источники при росте числа запросов.
Чат-боты поддержки
Клиентские и внутренние боты перед сезонным пиком: сколько одновременных обращений выдерживают и не начинают ли выдумывать факты.
LLM API и сервисы инференса
Собственный контур инференса: пропускная способность, момент появления очереди, поведение при отказе узла.
Ассистенты в бизнес-процессах
Сценарии, где ответ модели идёт дальше в процесс, — там ошибка стоит дороже и проверяется отдельно.
Как задаются критерии приёмки
Профиль испытаний согласуется до прогона и становится единственным источником правды: то, что записано в нём, дословно цитируется в протоколе. Обычно фиксируются четыре группы параметров.
| Что задаём | Примеры параметров | Кто участвует в согласовании |
|---|---|---|
| Профиль нагрузки | Одиночные запросы, разовый залп, ступенчатое нарастание, фоновая нагрузка с паузами, случайные приходы за окно времени | Владелец ИИ-продукта, инженер эксплуатации |
| Датасет проверки | Набор реальных вопросов и эталонных ответов, размер выборки для оценки качества | Владелец процесса, эксперты предметной области |
| Пороги приёмки | Доля успешных ответов, P95 времени ответа, допустимое число падений, минимальная оценка качества, число пользователей без очереди | Приёмочная комиссия, заказчик испытаний |
| Границы прогона | Среда, версия системы, окно проведения, доступ к метрикам инфраструктуры | ИТ-эксплуатация, служба безопасности |
Раздел инфраструктурных метрик необязателен: без доступа к контейнерам и GPU стенд всё равно нагружает систему по HTTP и выносит вердикт по остальным критериям.
Что получает заказчик
- Протокол испытаний в PDF и DOCX по редактируемому шаблону: титульный лист, программа и методика, условия, результаты нагрузки и качества, вердикт по каждому критерию и блок подписей.
- Ответ по каждому критерию приёмки в формате «порог — факт — PASS или FAIL», без общих формулировок вида «есть замечания».
- Приложения с примерами: вопрос, ответ системы, оценка и текстовое объяснение вердикта — можно перепроверить логику оценки вручную.
- Данные о поведении под нагрузкой: ступень появления очереди, уровень конкурентности, при котором начинаются отказы, состояние очереди и памяти движка инференса, если доступ к метрикам предоставлен.
Чем отличается от аудита и лаборатории
Три предложения группы легко перепутать — они отвечают на разные вопросы и применяются на разных стадиях.
| Формат | На какой вопрос отвечает | Что на выходе |
|---|---|---|
| Secure AI audit | Какие риски несёт архитектура ИИ-контура и как в нём обращаются с данными и доступами | Реестр рисков, разбор архитектуры, дорожная карта устранения |
| Лаборатория ИБ | Как ведёт себя конкретная мера защиты или продукт в архитектуре заказчика | Протокол пилота, матрица совместимости, требования к внедрению |
| «Полигон» | Проходит ли ИИ-система приёмку по согласованным критериям нагрузки и качества | Протокол испытаний с вердиктом PASS/FAIL для акта приёмки |
Испытания на стенде не являются сертификацией и не подтверждают соответствие требованиям регуляторов — они подтверждают выполнение критериев, о которых договорились стороны приёмки.
Как начать
Заявка и созвон
Обсуждаем тип системы, доступный трафик реальных вопросов и наличие доступа к метрикам инфраструктуры.
Профиль испытаний
Согласуем профиль нагрузки, датасет эталонов и пороги приёмки под вашу систему.
Прогон в вашем контуре
Стенд нагружает цель и параллельно оценивает выборку ответов локальным судьёй.
Протокол
Получаете документ с вердиктом по каждому критерию, готовый лечь в комплект к акту.
Запросить демо или пилот
Покажем продукт на вашем контуре и предложим формат пилота с понятным результатом на выходе.
