为什么«喜欢»和«回复很快» — 还不算评价
作者 — 阿列克谢·伊贡金, RESTART 集团 首席执行官。本文补充了作者在 «RBC 公司» 的专栏（链接 — 文末）：那里 — 立场，这里 — 工作流程。
最初对 AI 助手的反馈几乎总是很好：员工觉得有趣，回答几秒钟内就会出现，演示看起来很有说服力。但无论是«喜欢»还是«回答快»，都无法说明部门的工作是否变得更轻松了。
模型的速度是指响应时间。对员工的价值则体现在整个任务所需的时间上：提出请求、获得答复、核查答复、修正答复，然后才能加以应用。如果核查和修正所花的时间与以前完成整个工作一样多，那么无论模型响应得多快，都毫无收益。
假设示例。 律师不到一分钟就从助理处收到合同意见书草稿，然后花半小时核对每一处合同条款引用，因为对准确性没有把握。响应时间大幅缩短，任务耗时——几乎没有缩短。
因此，需要在实际任务中评估其效益，并考虑验证和明确的比较基准。以下方法可应用于任何面向员工的 AI 助手试点：文档检索、答复准备、合同或申请分析。
测量什么
对于试点来说，五个指标就足够了。这些指标均按任务而非按模型请求进行计算，管理者无需技术术语也能理解。
| 指标 | 如何计算 | 显示什么 |
|---|---|---|
| 任务总时间 | 从开始处理任务到最终结果：准备请求，处理回复，检查，修正 | 主要效用指标；与相同类型不使用 AI 的任务进行对比 |
| 未经修改即被接受的回答比例 | AI结果被原样使用的任务数与所有使用AI的任务数之比 | 员工在多大程度上可以依赖助手 |
| 返工比例 | 需要丢弃答案并重新完成的任务数与所有 AI 任务总数之比 | 隐性时间损耗：这样的任务比不使用 AI 成本更高 |
| 后来发现的错误 | 移交后在结果中发现的错误: 审批时, 报告中, 客户处 | 检查不足的代价；一个这样的错误可能抵消节省下来的小时数 |
| 审核员工作量 | 主管或专家审核使用 AI 工作的员工成果的时间 | 工作是否已从执行者转移到检查者 |
试点中不应测量什么。 助手请求量和用户«活跃度» — 大量请求既可能表示有用，也可能表示未能获得所需答案的失败尝试。与任务无关的总体«满意度»。与任务分开的模型速度。以及全公司范围内的节省：试点只验证一个流程，将其结果推广到其他部门还为时过早。
如何构建测量
比较是按照«之前和之后»的原则，在相同任务上构建的。
- 基线（baseline） — 对相同任务在不使用 AI 的情况下进行测量，之后将结果与之对比。该测量在试点前 2–4 周进行，或者基于已完成任务的样本，前提是工作耗时可在工单系统或文档管理系统中查看。
- 相同的任务。 只能比较相同类型和难度的任务：审查供货合同——与审查供货合同相比，而不是与对简单问题的回答相比。
- 对照组 ——一部分员工在同一时期不使用 AI 完成相同任务。它有助于将助手的效果与季节性波动，以及人们只是更加关注自己的时间区分开来。如果无法划分出这一组，请与初始基准进行比较，但要记录这段时间内流程发生了哪些变化。
- 真实文件和问题。 不是演示集，而是员工每天解决的任务，包括复杂和非标准情况。
- 谁记录时间。 最方便的方式是根据工作系统中的记录。如果没有这些记录，员工在简单的表单中记录任务的开始和结束时间，审核时间由审核人员记录。手动记录越少，数据就越真实。
- 样本量。 目标是每个组中每种类型有几十个任务。在几个任务上，输出由随机异常值决定。
测量表格模板 一行 — 一个任务：
| 列 | 记录什么 |
|---|---|
| 编号和任务类型 | 例如，“审核供货合同”，“回复客户请求” |
| 组 | 有AI或没有AI |
| 执行人 | 谁执行了任务 |
| 准备 | 查询表述和原始资料选取时间, 分钟 |
| 工作 | 不使用 AI 完成或使用 AI 获取并分析回答所需时间, 分钟 |
| 考试 | 执行人和验证人核对结果的时间, 分钟 |
| 更正 | 结果完善时间，分钟 |
| 总时间 | 前四列的总和 |
| 未经修改通过 | 是或否 |
| 返工 | 是的，如果不得不丢弃AI的回答 |
| 错误后来被发现 | 是或否，在哪里以及何时被发现 |
| 备注 | 为什么需要修改：缺少所需文档、链接不准确、数据过时 |
如何计算节省
节省是根据任务的总耗时计算的, 而不是模型的响应时间:
每月节省的小时数 = (无 AI 时的任务时间 − 使用 AI 并包含检查和修正的任务时间) × 每月此类任务的数量.
AI 任务的时间按该组所有任务的平均值计算，包括返工：如果答案不得不被丢弃，则该任务包含与助手协作所花费的时间，以及重新完成所花费的时间。
假设计算示例 （数字为示意而虚构，并非项目结果）。不使用 AI 时，任务平均需要 40 分钟。使用 AI：5 分钟提出请求，10 分钟检查，5 分钟修改——共 20 分钟。此类任务每月有 200 个：(40 − 20) × 200 = 4 000 分钟，约 67 小时。如果只计算获得回答的时间，“节省”时间会达到约 117 小时——几乎是实际的两倍。
因此，未经检查和修正的测量总是会高估结果。后来发现的错误也是如此：修正这些错误同样需要时间，有时还会造成需要扣除的直接损失。
钱。 节省下来的工时按执行任务的员工的小时成本折算成金额。将该金额与闭环的成本进行比较：许可证、计算资源、运维支持、专家更新知识库和审核回答所需的时间。只有当节省金额持续高于这些成本，而不是在试点最好的月份，才会作出扩大规模的决定。
何时停止或更改场景
衡量不仅是为了验证价值，也是为了及时止损。以下迹象表明应关闭或替换该场景：
- 修改比节省还多。 使用 AI 完成任务时，计入验证后的耗时并不少于不使用 AI 时的耗时，并且没有逐周下降。
- 返工不会消失。 在调整来源和查询后，需要丢弃的回答比例仍然很高。
- 数据尚未准备好。 所需文档没有可用的版本，它们已过时，或者没有负责保持其时效性的责任人。
- 网络安全禁令。 安全部门不允许在所选环境中处理所需数据，且在试点范围内无法更改环境。
- 没有流程所有者。 没有人承接成果，也没有人为试点结束后助理的使用情况负责。
- 后期错误的代价比节省更高。 在交付结果之后发现的错误，其代价要高于节省下来的时间。
一句坦诚的“这个场景我们不采用”，是试点的正常结果。有时更换场景会有帮助：选择一个本来就会在应用前由人工核查结果的流程，或者一个数据准备更充分的任务。但仅仅因为试点已经开始就继续下去，是代价最高的选择。
RESTART 中是如何运作的
在 RESTART 员工通往 AI 助手的路径被划分为多个阶段，每个阶段都有自己的«是否继续»决定。
- AI-discovery —十个工作日，用于选择场景。各场景按四个维度进行比较：价值、数据就绪度、访问模式和可逆性；为主要场景准备成功与中止标准，最终结果是决定启动试点、推迟还是放弃。为评估经济性，客户确认业务量和人力投入的初始指标——这正是未来衡量的基础。
- 以企业为基础的 RAG 试点 — 在四周和六周的版本中，基于真实文档、用户和问题进行验证。其中的技术验收标准和实用性假设已分开。可以将本文中的任务耗时测量与回答质量评估一起加入试点标准。
- 企业级平台——当存在多个场景并且需要通用的角色、数据源、日志和运维时。试点与平台的区别在于 比较; 平台本身 — Restart AI Enterprise Platform.
整个实施路线 — 在页面上 «AI在商业中的应用».
RBC上的文章
12.10.2026 · «RBC 公司» · 专家专栏。 阿列克谢·伊贡金 — «如何评估人工智能对员工的益处并减轻工作中的额外负担». 专栏中 — 作者的立场; 本文中 — 测量方法, 表格模板和计算. 该小组的所有发布内容 — 在本版块 “关于我们的媒体”.
常见问题
测量需要多长时间？
基线应在试点前 2–4 周采集，或者如果工作时长在工作系统中可见，则根据已完成任务的样本采集。然后使用 AI 工作同样长的时间。最初使用助手的几天最好不要计入计算：员工仍在适应这一工具。
需要多少个任务才能得出结论？
参考标准——每个组中每种类型几十项任务。如果任务较少，结论由个别情况决定：一项复杂任务或一次成功的回答。
如果员工不记录时间，该怎么办？
首先，查看现有工作系统中已有的内容：工单的创建和关闭时间、文档审批阶段。如果没有时间记录，试点任务只需使用简单的“开始——结束”表单，审核时间由审核人记录。无需记录工作日的每一分钟。
能否在没有试点的情况下评估效益？
仅作初步评估：根据操作量、人力投入和任务的典型耗时，可以评估场景潜力并选择需要验证的内容。实际价值则体现在基于您的文档和任务所开展的工作中——包括验证和修正。
效用测量与回答质量评估有什么区别？
质量评估回答的问题是，测试问题集上的答案质量如何。效用衡量则是员工完成整个任务所花费的时间和精力。两者缺一不可：优质答案若核查耗时过长，也无法带来效用。
一定需要对照组吗？
最好这样做，但并非必须。如果无法将员工分开，请在相同类型的任务上与初始基线进行比较，并记录这段时间内流程中还发生了哪些变化：新的规章制度、人员变动、季节性负荷。
让我们讨论一下您的环境
描述任务、当前系统、约束和预期结果。我们将提供实用的第一步：诊断、试点、审计、路线图或项目团队。
