Как оценить пользу ИИ для сотрудников: методика замера на пилоте
Польза ИИ-ассистента для сотрудников измеряется временем всей задачи — с подготовкой запроса, проверкой и исправлением ответа, а не скоростью модели. Ниже — рабочая методика для пилота: что считать, как сравнить «до» и «после», как посчитать экономию и по каким признакам остановить проект.
Почему «нравится» и «отвечает быстро» — ещё не оценка
Автор — Алексей Игонькин, генеральный директор ГК РЕСТАРТ. Материал дополняет колонку автора на «РБК Компании» (ссылка — в конце статьи): там — позиция, здесь — порядок работы.
Первые отзывы о ИИ-ассистенте почти всегда хорошие: сотрудникам интересно, ответ появляется за секунды, демонстрация выглядит убедительно. Но ни «нравится», ни «быстро отвечает» не говорят, стало ли подразделению легче работать.
Скорость модели — это время ответа. Польза для сотрудника — это время всей задачи: сформулировать запрос, получить ответ, проверить его, исправить и только потом применить. Если проверка и исправления занимают столько же, сколько раньше занимала вся работа, выигрыша нет, как бы быстро ни отвечала модель.
Условный пример. Юрист получает от ассистента черновик заключения по договору меньше чем за минуту, а затем полчаса сверяет каждую ссылку на пункт договора, потому что не уверен в точности. Время ответа сократилось радикально, время задачи — почти нет.
Поэтому оценивать пользу нужно на реальных задачах, с учётом проверки и с понятной точкой сравнения. Ниже — методика, которую можно применить на пилоте любого ИИ-ассистента для сотрудников: поиска по документам, подготовки ответов, разбора договоров или заявок.
Что мерить
Для пилота достаточно пяти показателей. Все они считаются по задачам, а не по запросам к модели, и понятны руководителю без технических терминов.
| Показатель | Как считать | Что показывает |
|---|---|---|
| Полное время задачи | От начала работы над задачей до готового результата: подготовка запроса, работа с ответом, проверка, исправления | Главный показатель пользы; сравнивается с тем же типом задач без ИИ |
| Доля ответов, принятых без правок | Число задач, где результат ИИ использован как есть, к числу всех задач с ИИ | Насколько сотрудник может опираться на ассистента |
| Доля переделок | Задачи, где ответ пришлось выбросить и сделать работу заново, к числу всех задач с ИИ | Скрытые потери времени: такая задача обходится дороже, чем без ИИ |
| Ошибки, найденные позже | Ошибки в результате, обнаруженные после передачи дальше: при согласовании, в отчёте, у клиента | Цена недостаточной проверки; одна такая ошибка может перекрыть сэкономленные часы |
| Нагрузка на проверяющего | Время руководителя или эксперта на проверку результатов сотрудников, работавших с ИИ | Не переложилась ли работа с исполнителя на проверяющего |
Что не мерить в пилоте. Количество запросов к ассистенту и «активность» пользователей — много запросов может означать и пользу, и неудачные попытки получить нужный ответ. Общую «удовлетворённость» без привязки к задачам. Скорость модели отдельно от задачи. И экономию в масштабе всей компании: пилот проверяет один процесс, и переносить его результат на остальные подразделения рано.
Как построить замер
Сравнение строится по принципу «до и после» на одинаковых задачах.
- Исходная точка (baseline) — замер тех же задач без ИИ, с которым потом сравнивают результат. Его снимают за 2–4 недели до пилота либо по выборке уже выполненных задач, если время работы видно в системе заявок или документооборота.
- Одинаковые задачи. Сравнивать можно только задачи одного типа и сложности: проверку договора поставки — с проверкой договора поставки, а не с ответом на простой вопрос.
- Контрольная группа — часть сотрудников, которая в тот же период делает такие же задачи без ИИ. Она помогает отделить эффект ассистента от сезонных колебаний и от того, что люди просто стали внимательнее к своему времени. Если выделить группу нельзя, сравнивайте с исходной точкой, но фиксируйте, что изменилось в процессе за это время.
- Реальные документы и вопросы. Не демонстрационный набор, а задачи, которые сотрудники решают каждый день, вместе со сложными и нестандартными случаями.
- Кто фиксирует время. Удобнее всего — по отметкам в рабочей системе. Если их нет, сотрудник отмечает начало и конец задачи в простой форме, а время проверки отмечает проверяющий. Чем меньше ручных отметок, тем честнее данные.
- Объём. Ориентир — несколько десятков задач каждого типа в каждой группе. На нескольких задачах вывод определяют случайные выбросы.
Шаблон таблицы замера. Одна строка — одна задача:
| Столбец | Что записывать |
|---|---|
| Номер и тип задачи | Например, «проверка договора поставки», «ответ на запрос клиента» |
| Группа | С ИИ или без ИИ |
| Исполнитель | Кто выполнял задачу |
| Подготовка | Время на формулировку запроса и подбор исходных материалов, минут |
| Работа | Время на выполнение без ИИ или на получение и разбор ответа с ИИ, минут |
| Проверка | Время исполнителя и проверяющего на сверку результата, минут |
| Исправления | Время на доработку результата, минут |
| Итоговое время | Сумма предыдущих четырёх столбцов |
| Принято без правок | Да или нет |
| Переделка | Да, если ответ ИИ пришлось выбросить |
| Ошибка найдена позже | Да или нет, где и когда обнаружена |
| Комментарий | Почему понадобились правки: нет нужного документа, неточная ссылка, устаревшие данные |
Как посчитать экономию
Экономия считается по итоговому времени задачи, а не по времени ответа модели:
Экономия часов в месяц = (время задачи без ИИ − время задачи с ИИ с учётом проверки и исправлений) × число таких задач в месяц.
Время задачи с ИИ берётся средним по всем задачам группы, включая переделки: если ответ пришлось выбросить, в эту задачу входит и время, потраченное на работу с ассистентом, и время, за которое её сделали заново.
Условный пример расчёта (цифры придуманы для иллюстрации, не результат проекта). Без ИИ задача занимает в среднем 40 минут. С ИИ: 5 минут на запрос, 10 минут на проверку, 5 минут на исправления — 20 минут. Таких задач 200 в месяц: (40 − 20) × 200 = 4 000 минут, около 67 часов. Если бы учли только время получения ответа, «экономия» вышла бы около 117 часов — почти вдвое больше, чем на самом деле.
Поэтому замер без проверки и исправлений всегда завышает результат. То же касается ошибок, найденных позже: их исправление — тоже время, а иногда и прямые потери, которые нужно вычесть.
Деньги. Сэкономленные часы переводятся в деньги по стоимости часа сотрудников, которые выполняют задачу. С этой суммой сравнивают стоимость контура: лицензии, вычислительные ресурсы, сопровождение, время экспертов на актуализацию базы знаний и на проверку ответов. Решение о масштабировании принимают, только если экономия устойчиво выше этих затрат, а не в лучший месяц пилота.
Когда остановить или сменить сценарий
Замер нужен не только для того, чтобы подтвердить пользу, но и чтобы вовремя остановиться. Признаки, что сценарий стоит закрыть или заменить:
- Правок больше, чем экономии. Время задачи с ИИ с учётом проверки не меньше, чем без него, и не снижается от недели к неделе.
- Переделки не уходят. Доля ответов, которые приходится выбрасывать, остаётся высокой после настройки источников и запросов.
- Данные не готовы. Нужных документов нет в доступном виде, они устарели или у них нет владельца, который отвечает за актуальность.
- Запрет ИБ. Служба безопасности не допускает обработку нужных данных в выбранном контуре, и изменить контур в рамках пилота нельзя.
- Нет владельца процесса. Некому принять результат и отвечать за то, как ассистент используется после пилота.
- Поздние ошибки дороже экономии. Ошибки, найденные после передачи результата, обходятся дороже сэкономленного времени.
Честное «этот сценарий не берём» — нормальный итог пилота. Иногда помогает сменить сценарий: взять процесс, где человек и так проверяет результат перед применением, или задачу с более подготовленными данными. Но продолжать пилот только потому, что он уже начат, — самый дорогой вариант.
Как это устроено в РЕСТАРТ
В РЕСТАРТ путь к ИИ-ассистенту для сотрудников разбит на этапы, и на каждом есть своё решение «продолжать или нет».
- AI-discovery — десять рабочих дней на выбор сценария. Сценарии сравниваются по четырём признакам: ценность, готовность данных, режим доступа и обратимость; для основного сценария готовятся критерии успеха и остановки, а итог — решение запускать пилот, отложить или отказаться. Для оценки экономики заказчик подтверждает исходные показатели объёма операций и трудозатрат — это и есть основа будущего замера.
- RAG-пилот по корпоративной базе — проверка на реальных документах, пользователях и вопросах, в редакциях на четыре и шесть недель. Технические критерии сдачи и гипотеза полезности в нём разделены. Замер времени задачи из этой статьи можно добавить к критериям пилота вместе с оценкой качества ответов.
- Корпоративная платформа — когда сценариев несколько и нужны общие роли, источники, журналы и эксплуатация. Чем пилот отличается от платформы — в сравнении; сама платформа — Restart AI Enterprise Platform.
Весь маршрут внедрения — на странице «Внедрение ИИ в бизнес».
Материал на РБК
12.10.2026 · «РБК Компании» · экспертная колонка. Алексей Игонькин — «Как оценить пользу ИИ для сотрудников и снизить лишнюю нагрузку на работе». В колонке — позиция автора; в этой статье — методика замера, шаблон таблицы и расчёт. Все публикации группы — в разделе «СМИ о нас».
Частые вопросы
Сколько длится замер?
Исходную точку снимают за 2–4 недели до пилота или по выборке уже выполненных задач, если время работы видно в рабочих системах. Затем столько же времени работают с ИИ. Первые дни с ассистентом в расчёт лучше не брать: сотрудники ещё привыкают к инструменту.
Сколько задач нужно, чтобы делать вывод?
Ориентир — несколько десятков задач каждого типа в каждой группе. Если задач меньше, вывод определяют единичные случаи: одна сложная задача или один удачный ответ.
Что делать, если сотрудники не фиксируют время?
Сначала посмотреть, что уже есть в рабочих системах: время создания и закрытия заявок, этапы согласования документов. Если отметок нет, достаточно простой формы «начал — закончил» для задач пилота, а время проверки отмечает проверяющий. Фиксировать каждую минуту рабочего дня не нужно.
Можно ли оценить пользу без пилота?
Только предварительно: по объёму операций, трудозатратам и типовому времени задач можно оценить потенциал сценария и выбрать, что проверять. Реальную пользу показывает работа на ваших документах и задачах — с проверкой и исправлениями.
Чем замер пользы отличается от оценки качества ответов?
Оценка качества отвечает на вопрос, насколько хороши ответы на тестовом наборе вопросов. Замер пользы — сколько времени и сил сотрудники тратят на задачу целиком. Нужны оба: хорошие ответы, которые долго проверять, пользы не дают.
Обязательно ли нужна контрольная группа?
Желательно, но не обязательно. Если разделить сотрудников нельзя, сравнивайте с исходной точкой на тех же типах задач и записывайте, что ещё изменилось в процессе за это время: новые регламенты, смена состава, сезонная нагрузка.
Обсудим ваш контур
Опишите задачу, текущие системы, ограничения и ожидаемый результат. Мы предложим первый практичный шаг: диагностику, пилот, аудит, дорожную карту или проектную команду.
