公司的人工智能索引：为什么网站需要人工智能代理页面

此前，企业网站有两个接收者：一个人和一个搜索机器人。现在第三个—— 阅读页面以回答用户问题的代理。他不会滚动浏览结果，不会点击十个链接，而且几乎永远不会回来：他拿起一些片段，收集答案并指出来源 - 或者不指出。

差异是根本性的。您正在与搜索引擎竞争列表中的位置。发送给代理 - 以便您的文本通常落入响应的上下文中并被认为是可靠的。优化第一个并不能保证第二个：页面可以完美排名，同时不适合引用 - 因为事实分布在三个段落中，没有在任何地方直接命名，也没有日期。

代理的设计不同。简单来说，它做了三件事：搜索（通常通过常规搜索 API）、获取多个完整页面并将其片段放入有限的上下文模型中。这具有实际意义。

• 脚本通常不会被执行。 如果内容在客户端呈现，则没有代理页面。
• 上下文是有限的。 响应不会包括整个页面，而是几个片段。获胜者是一篇将事实及其上下文放在一个段落中的文本，而不是“像我们上面已经写的那样”。
• 没有第二次机会了。 代理不会点击“更多详细信息”。关键信息应该在他来的同一页面上。
• 归因需要确定性。 为了链接到您，代理需要清楚地了解作者是谁、是什么样的组织以及何时撰写。无标题、无日期的文本被引用的频率较低。
• 争论的代价是高昂的。 如果网站对一个问题有两个不同的答案，代理将随机选择一个答案，或者选择其他人的来源。

根目录下的文件

• robots.txt - 不仅仅是禁令。如果你想了解他们的反应，重要的是不要因为惯性而阻止座席。一个单独的政策问题：“让它进来或不让它进来”的决定应该是有意识的，而不是继承的。
• sitemap.xml - 完整，有最后修改日期，没有垃圾地址。对于多语言网站 - 具有所有语言版本。
• llms.txt - 社区提议的约定：机器可读的简短网站概述，其中包含关键部分的链接。它不是官方标准，但价格便宜，解决了“给代理商发卡”的问题。高级选项 llms-full.txt 包含整个内容的摘要。

页面布局

• 结构化数据 （schema.org，JSON-LD 格式）： Organization 详细信息， Article 附有作者和日期， BreadcrumbList, FAQPage 对于问题和答案。这是在不解析文本的情况下告诉机器事实的唯一方法。
• 规范地址 并纠正 hreflang 对于语言版本 - 否则重复会模糊信号。
• 标题的层次结构。 一 h1, 有意义的 h2/h3。从它们中剪下片段，并在它们的基础上构建答案的目录。
• 用表格代替段落 其中数据是表格形式的：事实是从表格中明确提取的。
• 有意义的地址和页面标题 - 它们经常成为引言的标题。

基础设施

• 所有相关内容的服务器渲染或静态生成。
• 快速稳定的响应：代理不会等待很长时间，也不会重试。
• 内容顶部没有强制横幅和模式窗口 - 一些解析器依赖它们。
• 诚实响应代码：404 表示缺席，301 表示移动。带有存根页面的“软”404 会破坏索引。

可用性

• 禁用 JavaScript 时内容可见。
• robots.txt 不会阻止您想见的特工，并且对此的决定是有意识地做出的。
• sitemap.xml 完整，有修改日期，没有垃圾网址。
• 吃 llms.txt 以及关键部分的地图。
• 服务器响应快速稳定，内容之上没有强制模态窗口。

标记

• 每个页面都有 JSON-LD：组织、页面类型、作者、日期。
• 指定规范地址并 hreflang 对于语言版本。
• 标题层次结构保持不变， h1 一。
• 表格数据的格式为表格而不是文本中的列表。

内容

• 每个部分都以直接答案开始。
• 段落是独立的，并且可以在页面上下文之外理解。
• 事实有日期，陈述有理由。
• 详细信息、许可证和支持文件可在单独的页面上获取，无需注册。
• 没有两页会以不同的方式回答同一问题。

观察

• 代理呼叫在日志中突出显示，其份额和动态是已知的。
• 定期检查：受欢迎的助理对有关您公司的关键问题的回答。
• 发布后，将启动对已更改地址的强制重新索引。

传统的指标在这里效果不佳：代理通常根本不会带来流量，但会给用户留下印象。实践中可衡量的内容：

• 日志中代理呼叫的份额 — 通过用户代理。随着渗透力的增长而增长；急剧下降通常意味着您不小心挡住了它们。
• 定期对助理进行调查。 列出 20-30 个有关公司及其主题的问题，每月验证答案：他们说了什么，他们是否指的是您，是否有过时的信息。
• 索引完整性 — 站点地图中包含在搜索索引中的页面比例。
• 建立索引之前的时间 新出版物。
• 共享具有正确结构化标记的页面 — 构建网站时自动检查。