寻找第一个场景
我们记录业务流程、来源、用户、角色、网络安全限制和成功标准。
结果:试点范围和依赖关系图。RESTART集团——企业AI系统安全:面向有网络安全要求的企业,提供审计、LLM和RAG防护、AI数据泄露管控服务。
AI系统的风险并非来自模型本身,而是围绕模型产生的:包括输入查询的数据、知识库索引、访问权限、日志和集成。以下是典型威胁以及RESTART在架构中嵌入的应对措施。
PD、商业秘密或代码无缘无故地出现在外部服务、RAG 索引、提示、响应或日志中。 保护: 数据分类、屏蔽、DLP、私有循环、保留策略和最小化。
文档或用户命令导致模型忽略规则或显示数据。 保护: 源过滤、系统策略、工具沙箱、红队和监控。
助理向员工展示了他无权访问的文件中的信息。 保护: IAM/IDM 权限继承、索引过滤、源链接、日志检查。
AI代理获得了过于宽泛的权限,并在未经协调的情况下执行了操作。 保护: 最低权限、操作限制、人工确认、日志记录——更多详情 AI代理的安全自动化.
该模型在没有来源的情况下自信地回答或混合了过时的文档。 保护: RAG 带来源、质量关卡、文档版本、在关键场景中由人工复核。
公共 API、小部件、代理和外部 LLM 服务对外可见。 保护: AI画像外部点检查, AI/API 环境渗透测试.
LLM 应用的典型漏洞在 OWASP Top 10 for LLM Applications 中有描述,针对 AI 系统的攻击战术则收录于 MITRE ATLAS。在俄罗斯实践中,AI 系统通常与第 152-FZ 号联邦法、个人数据信息系统(ИСПДн)、关键信息基础设施(КИИ)和国家信息系统(ГИС)的相关要求、内部网络安全政策以及商业秘密保护相关联。
如果已经使用了AI飞行员、RAG、聊天机器人或外部AI服务,应从 AI安全审计 — Secure AI 审计套餐。在 10 个工作日内,对一个约定的 AI 系统进行审查:哪些数据被发送至模型和外部服务,谁通过 AI 获得对数据源的访问权限,日志是否完整,哪里存在数据泄露、提示注入(prompt injection)及对单一供应商依赖的风险。
已识别的风险,包含重要性评估、优先级、建议措施及负责角色。
数据在哪些地方超出了范围,哪些地方缺少日志,哪些地方角色模糊不清。
对数据、访问权限和日志的要求,根据这些要求可自行重新验证该环境。
哪些内容需在投产前完成,哪些可以推迟,以及先后顺序如何。
主动测试——AI/API 环境渗透测试——以及防护措施检查 网络安全实验室 在审计后作为单独项目列出。
LLM 和 RAG 的防护由多个层级构成;没有任何单一组件能独自消除所有风险。
模型和数据可部署在本地、私有云或混合环境中。外部LLM服务仅可在完成数据分析、合同条款、存储及日志记录评估后使用。
用户的权限继承自 IAM/IDM、组和角色;索引经过过滤,响应引用了来源。
敏感字段在进入模型和索引之前会被屏蔽—— 数据的屏蔽和去个性化.
模型、系统指令、回复策略、工具限制和过滤器——一个独立的可控层。
记录请求、响应、来源、错误、升级、代理操作和网络安全事件。
正在测试提示注入、信息泄露、访问权限、代理权限、日志记录、错误情况下的行为以及对争议性请求的反应。
本页面讨论的是AI系统自身的安全性。反过来的问题则是应用 人工智能在网络安全中的应用:SOC、SGRC 事件分析,为遵守 152-FZ 法案、关键信息基础设施(KII)和国家信息系统(GIS)的检查做准备。为此提供了 Security & Compliance AI 模块。
网络安全的通用实践—— 网络安全;从流程审查到AI部署的路径—— 人工智能在商业中的实施.
我们需要从混乱的人工智能试点转向对集成、运营和业务清晰的平台架构。
重要的是不要将数据、文档、源代码和个人信息发布给不受控制的外部服务。
您需要在知识、文档、服务台、财务、采购或开发方面快速发挥作用,而不会失去控制。
有必要正式确定路线图、试点关键绩效指标、角色、预算环境和规模规则。
企业人工智能的主要问题不是缺乏模型,而是缺乏围绕数据、访问、质量和责任的托管架构。
| 疼痛 | 没有准备会发生什么 |
|---|---|
| 人工智能试点无法扩展 | 团队运行单独的脚本,但无法连接实际的来源、角色和审核。 |
| 数据正在失控 | 文件、商业秘密、个人数据和代码最终会出现在没有明确使用方式的服务中。 |
| 不相信答案 | 用户收到没有来源的文本,没有检查基础,也没有明确的质量改进流程。 |
| CIO 和 CISO 关于风险的争论 | 架构、网络安全、数据和业务影响是分开讨论的,因此决策悬而未决。 |
情景、优先事项、所有者和预期效果图。
画像图、来源、角色、日志、集成和网络安全限制。
包含质量标准、数据、指标和验收的试点计划。
风险登记册:个人数据、商业秘密、幻觉、访问、操作、供应商锁定。
最佳的开始是两周内发现人工智能。这足以将真实场景与美好想法区分开来,评估数据并做出有关试点的管理决策。
| 角色 | 职责范围 |
|---|---|
| AI architect | AI 平台、RAG、模型、编排、质量标准。 |
| Data architect | 来源、数据质量、矢量化、DWH/BI/ERP 集成。 |
| Security architect | PD、访问、日志、画像、威胁和网络安全要求。 |
| Business analyst / PM | 流程、利益相关者、待办事项、验收、路线图和沟通。 |
采访 CIO、CISO 和流程负责人,记录目标和限制。
评估来源、访问、数据质量、个人数据、商业秘密和网络安全风险。
RAG/AI 循环、集成、角色、日志和质量标准的设计。
试点计划、团队、时间表、工件、预算指南和下一阶段。
公开案例并不透露客户的机密细节,但展示了RESTART在相关企业赛道上的经验。
这里讨论的是一个闭环:包括来源、模型、角色、日志、部署和运维。一旦助手不再以文本形式回答,而是开始在系统中执行操作——例如创建工单、修改记录、调用外部 API——就会涉及另一套专门的规范:代理权限、人工确认以及回滚能力。
这部分在页面上有描述 AI代理对流程的安全自动化通常顺序是这样的:先构建画像,然后授予代理执行操作的权限。
这些措施可防止企业AI成为数据泄露或攻击的渠道:控制输入模型和索引的数据、权限继承、查询与响应日志、防范提示注入(prompt injection)、限制AI代理的权限,以及在关键场景中引入人工审核。
对数据进行分类,屏蔽敏感字段,使用DLP,将模型和索引置于私有网络中,制定查询与响应的存储策略,并仅向模型传递所需的最少信息。
过滤来源,强制执行系统策略,将代理工具隔离在沙箱中,进行红队演练并监控日志。在执行提示注入前需通过测试验证。
需要源分类、访问权限继承、索引过滤、敏感数据脱敏、响应控制、源引用和日志检查。
Secure AI审计在10个工作日内对一个AI系统进行检查:包括数据、访问权限、架构、日志、集成及各类风险——个人数据和商业机密在查询中的泄露风险、提示注入(prompt injection)风险、对供应商的依赖性等。审计结果将形成一份风险清单及相应的整改路线图。
是的。第一阶段只需要选择一种架构:单独的试点、平台核心或混合路径。
是的。该架构可以是本地部署、私有云或混合架构,具有源限制、日志记录和访问控制功能。
不是请求的数量,而是来自来源的答复的质量、体力劳动的减少、明确的风险和工业使用的准备情况。
页面上描述了从过程检查到操作的整个路径 面向商业的企业人工智能.
写信给我们: info@restart.re 或点击下面的按钮。对于第一封信,简要描述概要、组织的作用、当前系统、局限性和期望的结果就足够了。
给我们发邮件我们就音量、时间和输出工件达成一致 - 并在短时间内启动它。
