产品

“Polygon”:AI系统的验收测试

该测试台在一个运行周期内可回答两个问题:AI助手能承受多少并发用户,以及在负载下其回答质量是否会下降。结果是一份根据预先商定的标准给出 PASS/FAIL 判定的测试报告。

“Polygon”页面的Hero图片——人工智能系统验收测试展台

这是什么产品

“Polygo n”由RESTART集团旗下的Invent有限责任公司开发。该测试平台部署在客户环境中,可同时从两个维度验证AI系统:一是系统能否承受指定负载,二是在负载增加时其响应是否仍保持正确。这两个维度基于同一次运行中的相同流量进行评估。

主要成果不是带有图表的网页,而是PDF和DOCX格式的测试报告:包括程序与方法、测试条件、各轴向的测试结果、每个验收标准的判定结论以及签名栏。该文件旨在纳入交接验收文件包中。

可以体验什么

RAG 助手

企业知识库和文档助手:随着查询数量的增加,既会测试响应时间,也会测试回答是否基于来源。

支持聊天机器人

客户和内部机器人在季节性高峰前的表现:能同时处理多少查询,以及是否会开始编造事实。

LLM API 和推理服务

自有推理流水线:吞吐量、队列出现时刻、节点故障时的行为。

业务流程中的助理

在那些模型的回复会继续进入后续流程的场景中,错误的代价更高,因此会单独进行验证。

验收标准是如何设定的

测试方案在运行前需经确认,并成为唯一的真实来源:其中所记录的内容将被逐字引用到测试报告中。通常会记录四组参数。

设定什么参数示例谁参与审批
负载曲线单次请求、一次性爆发、阶梯式递增、带暂停的背景负载、在时间窗口内随机到达AI产品负责人,运维工程师
验证数据集一组真实问题和标准答案,用于评估质量的样本量流程负责人、领域专家
验收阈值成功响应率、响应时间的 P95、允许的掉线次数、最低质量评分、无排队用户数验收委员会,试验委托方
运行范围环境、系统版本、执行窗口、基础设施指标访问权限IT运维,安保部门

基础设施指标部分是非必需的:即使没有容器和 GPU 的访问权限,测试平台仍会通过 HTTP 对系统施加负载,并根据其他标准给出评估结果。

客户得到什么?

  • 试验规程 以可编辑模板生成PDF和DOCX格式:封面页、测试方案与方法、测试条件、负载与质量结果、各标准的判定结论以及签字栏。
  • 每个验收标准的答复 以“阈值 — 实际值 — PASS 或 FAIL”的格式,不要使用“存在意见”之类的笼统表述。
  • 示例应用程序:问题、系统回答、评分和判决的文字解释——可以手动重新检查评分逻辑。
  • 荷载作用下的性能数据队列出现的阶段、开始发生拒绝的并发级别、推理引擎的队列和内存状态(如果已提供对指标的访问权限)。

与审计和实验室有何区别

该组的三个句子很容易混淆——它们回答不同的问题,并应用于不同的阶段。

格式回答哪个问题输出是什么
Secure AI auditAI 环路架构面临哪些风险,以及其中如何处理数据和访问权限风险登记册、架构分析、整改路线图
网络安全实验室特定防护措施或产品在客户架构中的表现如何飞行员协议、兼容性矩阵、实施要求
PolygonAI系统是否通过了经协商确定的负载和质量验收标准?验收测试报告,含通过/失败判定

台架试验不是认证,也不证明符合监管机构的要求——它们仅证明满足验收双方约定的标准。

如何开始

1

申请和电话会议

讨论系统类型、实际问题的可用流量以及对基础设施指标的访问权限。

2

试验配置文件

我们将根据您的系统协调负载配置文件、基准数据集和验收阈值。

3

您环境中的运行

测试平台对目标施加负载,并同时通过本地评判器评估响应样本。

4

协议

您将收到一份包含每个标准评判结果的文件,可直接放入验收文件包中。

请求演示或试点

我们将在您的环境上展示该产品,并提供具有清晰输出结果的试点格式。

请求格式
AI 助手
你好!我是 RESTART 的人工智能助理。我将帮助您找到网站的正确部分,回答有关服务、许可证、合作伙伴关系、联系人的问题,或向销售部门提出上诉。