当人工智能自动化成为风险领域时
在试点中，人工智能通常看起来很安全：文档很少，命令有限，手动检查答案。在工业环境中，一切都在变化。该模型可以访问知识库、应用程序、合同、ERP、CRM、服务台、代码、财务数据、个人数据和内部法规。错误可能已经意味着泄漏、错误的管理决策、系统中的错误操作或新的攻击渠道。
需要安全的人工智能自动化，人工智能不仅可以回答问题，还可以成为业务流程的一部分：搜索知识、对文档进行分类、准备解决方案草案、创建任务、分析事件、帮助开发人员、财务职能、采购、网络安全和服务团队。在这样的架构中，重要的是要提前确定人工智能可以自己做什么，哪些地方需要人工验证，以及哪些数据根本不能输入到模型中。
这对哪些团队特别重要？
CIO 和 IT 架构
我们需要一个能够集成到企业环境中的AI 环境，不会产生影子 IT，也不会破坏集成、SLA、监控和支持的管理。
CISO 和网络安全服务
访问角色、日志、DLP、提示控制、RAG 索引保护、威胁模型、供应商审查以及调查 AI 活动的能力至关重要。
CDTO 和流程所有者
快速展示人工智能的效果很重要，但不要让试点因数据、监管机构或缺乏结果所有者而无法扩展。
数据、ERP 和服务台
AI 必须与真实来源合作：DWH、1C、SAP、CRM、EDMS、Service Desk、Confluence、Git、邮件、文档和内部 API。
合规与律师
您需要了解个人数据、商业秘密、银行信息、CII、GIS、合同限制和检查证据基础在哪些方面受到影响。
业务单位
对于企业而言，价值不在于模型本身，而在于减少体力工作、加快决策速度、减少错误以及对结果的明确责任。
术语无雾
| 学期 | 在项目中是什么意思 | 为什么这很重要 |
|---|---|---|
| 人工智能/人工智能 | 人工智能，人工智能：帮助分析数据、文本、文档、代码、事件和请求的模型和服务。 | 在企业中，人工智能应该是托管架构的一部分，而不是不受控制的外部工具。 |
| LLM | Large Language Model，大语言模型：理解并生成文本、代码、解释和答案的模型。 | 如果没有限制，LLM可能会犯错误、泄露敏感数据或执行危险指令。 |
| RAG | 检索增强生成：人工智能不是“从记忆中”做出反应，而是通过企业资源进行搜索的一种方法。 | RAG 减少幻觉，但需要访问权限、数据质量、索引相关性和来源引用。 |
| 人工智能代理 | 人工智能服务不仅可以响应，还可以规划操作、调用工具、API 或创建任务。 | 代理增加了效用，但也增加了过度授权和失控行为的风险。 |
| Human-in-the-loop | 关键点的人工验证：最终决定、发送给客户、更改数据、发布访问权限、监管结论。 | 有助于将人工智能用作助手，而不是作为解决方案无法控制的所有者。 |
| DLP | 数据丢失预防：控制泄漏和未经授权的数据传输。 | 敏感数据不得进入提示、响应、日志或外部服务。 |
| IAM / IDM / PAM | 身份和访问管理、身份管理、特权访问管理：管理用户、角色和权限。 | AI 应该只查看数据并只执行特定角色允许的操作。 |
| SIEM / SOAR / SGRC | SIEM 收集网络安全事件，SOAR 自动响应，SGRC 管理风险、控制和合规性。 | AI环境必须为SOC、网络安全和审计留下事件、证据和审计追踪。 |
| Prompt injection | 通过文本指令、文档或请求进行的攻击，试图迫使模型违反规则。 | RAG 或外部邮件中的单个受感染文档可能会尝试绕过安全策略。 |
| On-prem / private cloud | 托管在客户自己的环境或私有云中。 | 通常需要个人数据、CII、银行信息、商业秘密和内部数据。 |
世界和俄罗斯实践
成熟的人工智能项目越来越多地不再围绕“选择哪种模型”的问题，而是围绕管理风险、生命周期、责任和可证明性。 NIST AI RMF 建议通过风险管理和值得信赖的 AI 来看待 AI，ISO/IEC 42001 描述了 AI 管理系统，OWASP Top 10 for LLM 应用程序强调了 LLM 应用程序中的常见漏洞，MITRE ATLAS 帮助描述 AI 系统上的攻击策略，零信任架构将重点从网络信任转移到用户、设备、资源和操作的验证。
在俄罗斯的实践中，AI 环境几乎总是必须与现有要求相关联：针对个人数据的 152-FZ 和 ISPDn、针对重要对象的 187-FZ 和 KII、GIS 要求、内部网络安全政策、合同限制、商业秘密和采购要求。因此，安全人工智能不是一个单独的“附加组件”，而是人工智能、网络安全、数据、架构和操作的交叉点。
什么可以安全地实现自动化
内部 RAG 和知识库
有关法规、说明、合同、项目文档和知识库的答案，包含来源链接并考虑访问权限。
文件和合同
分类、属性提取、版本比较、条件搜索、结论草案准备和审查路由。
服务台和支持
请求分类、根据知识库进行答复、向工程师提供提示、创建任务、升级和 SLA 控制。
网络安全与合规
准备清单、政策分析、要求和控制比较、事件分析、证据包和安全调查问卷。
财务和管理流程
解释偏差、寻找数据原因、准备报告评论、分析合同并协助 CFO 团队。
开发和 DevSecOps
根据内部开发标准，帮助进行代码、文档、测试、漏洞分析和知识库。
在没有控制的情况下不能给予人工智能什么
人工智能不应在涉及法律影响、资金获取、权利变化、个人数据、监管调查结果或对生产系统影响的情况下任意做出决定。在这种情况下，模型可能会准备草稿、提示、摘要、分类或推荐，但最终操作必须经过流程所有者和记录的工作流。
| 风险区域 | 可能会出现什么问题 | 如何控制 |
|---|---|---|
| 个人数据和商业秘密 | 数据无缘无故地最终出现在外部服务、RAG 索引、提示、响应或日志中。 | 数据分类、屏蔽、DLP、私有循环、存储策略和最小化。 |
| Prompt injection | 文档或用户命令导致模型忽略规则或泄露数据。 | 源过滤、系统策略、工具沙箱、红队和监控。 |
| Excessive agency | AI代理获得了过于广泛的权利并在未经批准的情况下执行操作。 | 权力、批准、行动限制、日志记录和人机交互的分离。 |
| 无效答案 | 该模型在没有来源的情况下自信地回答或混合了过时的文档。 | RAG 包含来源、质量关卡、文档版本、反馈循环以及禁止未经确认的回复。 |
| 与 ERP/CRM/API 集成 | 响应中的错误会导致数据、任务、状态或权限发生变化。 | 试点、分阶段推出、角色、测试环境和操作确认的只读模式。 |
| Vendor lock-in | 该架构依赖于单一模型提供商或封闭服务。 | 模型抽象层、便携提示、独立RAG、数据控制和退出计划。 |
RESTART如何运作
选择场景
我们记录业务任务、结果的所有者、用户、来源、网络安全限制和成功标准。我们排除了人工智能带来风险大于收益的场景。
映射数据和访问
我们定义数据类、源系统、角色、访问矩阵、敏感字段、存储要求、日志和处理环境。
我们设计建筑
我们描述 RAG、LLM、代理操作、集成、API、威胁模型、人机交互、监控、操作和基础设施要求。
组装飞行员
我们在真实数据上运行有限的场景，但可以控制角色、日志、答案质量、来源、反馈和禁止危险行为。
检查安全
我们测试即时注入、泄漏、访问、代理权限、日志、错误行为、来源质量以及对有争议请求的响应。
准备产业化启动
我们传输路线图、HLD/LLD、法规、支持要求、证据包、扩展计划和验收标准。
安全的AI 环境架构
安全人工智能架构中不存在任何“神奇”组件。安全性来自来源、权限、日志、模型策略、测试、操作和责任的组合。
来源和 RAG
文档、知识库、EDMS、DWH、1C、SAP、CRM、服务台、Git 和门户通过托管连接器和索引进行连接。
接入模式
用户权限继承自 IAM/IDM、组、角色、流程矩阵和特定于源的限制。
LLM和提示层
模型、系统指令、响应策略、工具约束和过滤器被构建为单独的控制层。
工具和API
AI 代理操作受到白名单、只读模式、限制、批准和记录的服务帐户的限制。
日志和监控
记录请求、响应、来源、错误、升级、代理操作、响应质量和网络安全事件。
运营
我们需要所有者、SLA、回滚、变更管理、质量控制、索引更新、事件响应和场景开发。
人工智能在人工智能安全治理中的作用
人工智能本身并不能取代 CISO、架构师、律师或流程所有者。但它可以加快安全人工智能程序的管理：分析内部策略、搜索文档中的敏感数据、比较需求和控制、突出风险提示、总结日志、准备草稿证据包并帮助团队快速解决事件。
RESTART 谨慎地使用了这种方法：人工智能可以帮助专家更快地了解更多信息，但无法获得独立发布合规性、更改访问权限、禁用控制或做出监管决策的权利。这是有用的自动化和危险的控制模拟之间的关键界限。
企业得到什么？
速度快不乱
人工智能场景运行得更快，但不会变成没有所有者、架构或支持的不同试点的集合。
减少手动工作量
重复的回答、搜索、分类、总结、准备草稿和初步分析进入受控的AI 环境。
可验证性
管理、网络安全和审计查看来源、角色、日志、限制、响应质量和变更历史。
降低风险
数据、访问、提示、外部服务、代理操作和集成在扩展之前受到控制。
缩放
在第一个成功的场景之后，公司重用了平台核心：RAG、角色、连接器、日志、监控和治理。
清晰的路线图
试点结束时不是进行演示，而是做出决定：启动什么、改进什么、要消除哪些风险以及要保护哪些预算。
结果工件
- AI场景、流程所有者和业务效果标准图；
- 数据源、敏感度类别、角色和访问限制的注册；
- RAG、LLM、AI 代理、提示和集成的威胁模型和风险登记册；
- 受保护的AI环境的HLD/LLD：架构、集成、日志、监控、备份、操作；
- 人工智能代理的人机交互政策、批准、禁止和允许的行为；
- 测试计划：答案质量、及时注入、泄漏、过度代理、稳定性和用户反馈；
- 网络安全、合规、内部审计和采购的证据包；
- 试点、产业启动和扩展到新部门的路线图。
第一步实践
最好不要从选择模型开始，而是从一个有用的场景和一个简短的诊断开始：需要什么数据、用户是谁、需要什么业务结果、网络安全风险在哪里、哪些系统受到影响以及什么将被视为成功的试点。
如果人工智能已经在使用，安全人工智能审核是一个明智的选择。如果尚未选择场景 - AI 发现。如果任务与企业知识相关 - RAG 试点。如果多个模块需要一个工业核，请RESTART AI 企业平台。
常见问题
安全人工智能自动化与常规人工智能试点有何不同？
一般飞行员都会检验效益假设。安全的人工智能自动化会立即考虑数据、角色、日志、集成、人机交互、运营、网络安全风险和扩展。
我可以使用外部LLM服务吗？
有时是的，但前提是在分析数据、法律限制、合同条款、存储策略、日志记录和可接受的信息类型之后。对于敏感环境，通常需要本地云或私有云。
如何防止 RAG 泄漏？
需要源分类、访问权限继承、索引过滤、敏感数据脱敏、响应控制、源引用和日志检查。
什么是即时注射？
这是通过请求或文档强制模型违反规则的尝试：泄露数据、忽略指令、调用禁止的工具或给出有害的响应。
什么时候需要人机交互？
当人工智能影响金钱、访问权、客户、个人数据、监管结果、生产力系统或声誉风险时。
AI可以和SIEM/SOAR/SGRC联动吗？
是的。 AI环境可以将事件、日志、事故、证据和状态发送到网络安全系统，并通过正确的访问模型将它们用作分析源。
您如何知道试点是否可以扩展？
必须有可衡量的效果、可接受的答案质量、明确的运营成本、封闭的网络安全风险、商定的角色、支持和开发路线图。
RESTART仅实现AI还是整个环境？
RESTART连接了AI、网络安全、Data/BI、DevOps、ERP/1C/SAP和系统集成，因此它可以设计的不是一个单独的机器人，而是一个有效的企业级架构。
安全人工智能自动化的基础设施
企业级架构中的人工智能自动化需要托管基础设施：LLM 和嵌入模型的计算、索引、秘密、日志、备份、监控、网络分段、测试环境和模型更新过程的存储。
AI 计算和 DevSecOps 实践 RESTART 有助于准备工业基础：从 GPU/CPU 资源和私有部署到可观察性、CI/CD、配置控制以及与网络安全系统的集成。
让我们讨论一下您的环境
描述任务、当前系统、约束和预期结果。我们将提供实用的第一步：诊断、试点、审计、路线图或项目团队。
