这是什么产品
“Polygo n”由RESTART集团旗下的Invent有限责任公司开发。该测试平台部署在客户环境中,可同时从两个维度验证AI系统:一是系统能否承受指定负载,二是在负载增加时其响应是否仍保持正确。这两个维度基于同一次运行中的相同流量进行评估。
主要成果不是带有图表的网页,而是PDF和DOCX格式的测试报告:包括程序与方法、测试条件、各轴向的测试结果、每个验收标准的判定结论以及签名栏。该文件旨在纳入交接验收文件包中。
可以体验什么
RAG 助手
企业知识库和文档助手:随着查询数量的增加,既会测试响应时间,也会测试回答是否基于来源。
支持聊天机器人
客户和内部机器人在季节性高峰前的表现:能同时处理多少查询,以及是否会开始编造事实。
LLM API 和推理服务
自有推理流水线:吞吐量、队列出现时刻、节点故障时的行为。
业务流程中的助理
在那些模型的回复会继续进入后续流程的场景中,错误的代价更高,因此会单独进行验证。
验收标准是如何设定的
测试方案在运行前需经确认,并成为唯一的真实来源:其中所记录的内容将被逐字引用到测试报告中。通常会记录四组参数。
| 设定什么 | 参数示例 | 谁参与审批 |
|---|---|---|
| 负载曲线 | 单次请求、一次性爆发、阶梯式递增、带暂停的背景负载、在时间窗口内随机到达 | AI产品负责人,运维工程师 |
| 验证数据集 | 一组真实问题和标准答案,用于评估质量的样本量 | 流程负责人、领域专家 |
| 验收阈值 | 成功响应率、响应时间的 P95、允许的掉线次数、最低质量评分、无排队用户数 | 验收委员会,试验委托方 |
| 运行范围 | 环境、系统版本、执行窗口、基础设施指标访问权限 | IT运维,安保部门 |
基础设施指标部分是非必需的:即使没有容器和 GPU 的访问权限,测试平台仍会通过 HTTP 对系统施加负载,并根据其他标准给出评估结果。
客户得到什么?
- 试验规程 以可编辑模板生成PDF和DOCX格式:封面页、测试方案与方法、测试条件、负载与质量结果、各标准的判定结论以及签字栏。
- 每个验收标准的答复 以“阈值 — 实际值 — PASS 或 FAIL”的格式,不要使用“存在意见”之类的笼统表述。
- 示例应用程序:问题、系统回答、评分和判决的文字解释——可以手动重新检查评分逻辑。
- 荷载作用下的性能数据队列出现的阶段、开始发生拒绝的并发级别、推理引擎的队列和内存状态(如果已提供对指标的访问权限)。
与审计和实验室有何区别
该组的三个句子很容易混淆——它们回答不同的问题,并应用于不同的阶段。
| 格式 | 回答哪个问题 | 输出是什么 |
|---|---|---|
| Secure AI audit | AI 环路架构面临哪些风险,以及其中如何处理数据和访问权限 | 风险登记册、架构分析、整改路线图 |
| 网络安全实验室 | 特定防护措施或产品在客户架构中的表现如何 | 飞行员协议、兼容性矩阵、实施要求 |
| Polygon | AI系统是否通过了经协商确定的负载和质量验收标准? | 验收测试报告,含通过/失败判定 |
台架试验不是认证,也不证明符合监管机构的要求——它们仅证明满足验收双方约定的标准。
如何开始
申请和电话会议
讨论系统类型、实际问题的可用流量以及对基础设施指标的访问权限。
试验配置文件
我们将根据您的系统协调负载配置文件、基准数据集和验收阈值。
您环境中的运行
测试平台对目标施加负载,并同时通过本地评判器评估响应样本。
协议
您将收到一份包含每个标准评判结果的文件,可直接放入验收文件包中。
请求演示或试点
我们将在您的环境上展示该产品,并提供具有清晰输出结果的试点格式。
