AI-index для компании: зачем сайту страница для ИИ-агентов

Раньше у корпоративного сайта было два адресата: человек и поисковый робот. Теперь третий — агент, который читает страницу, чтобы ответить на вопрос пользователя. Он не листает выдачу, не кликает по десяти ссылкам и почти никогда не возвращается: он забирает несколько фрагментов, собирает ответ и указывает источник — или не указывает.

Разница принципиальная. Поисковику вы конкурируете за позицию в списке. Агенту — за то, чтобы ваш текст вообще попал в контекст ответа и был опознан как достоверный. Оптимизация под первое не гарантирует второго: страница может отлично ранжироваться и при этом быть непригодной для цитирования — потому что факт размазан по трём абзацам, нигде не назван прямо и не имеет даты.

Агент устроен иначе. Упрощённо он делает три вещи: ищет (часто через обычный поисковый API), забирает несколько страниц целиком и укладывает их фрагменты в ограниченный контекст модели. Отсюда практические следствия.

• Скрипты обычно не исполняются. Если контент рендерится на клиенте, для агента страницы нет.
• Контекст ограничен. В ответ попадёт не вся страница, а несколько фрагментов. Выигрывает текст, в котором факт помещается в один абзац вместе со своим контекстом — а не «как мы уже писали выше».
• Нет второго шанса. Агент не кликнет «подробнее». Ключевые сведения должны быть на той же странице, куда он пришёл.
• Атрибуция требует определённости. Чтобы сослаться на вас, агенту нужно однозначно понять, кто автор, что за организация и когда это написано. Безымянный текст без даты цитируют реже.
• Противоречия обходятся дорого. Если на сайте два разных ответа на один вопрос, агент выберет случайный — или чужой источник.

Файлы в корне

• robots.txt — не только запреты. Важно не заблокировать по инерции агентов, если вы хотите попадать в их ответы. Отдельный вопрос политики: решение «пускать или нет» должно быть осознанным, а не унаследованным.
• sitemap.xml — полный, с датами последнего изменения, без мусорных адресов. Для многоязычного сайта — со всеми языковыми версиями.
• llms.txt — предложенное сообществом соглашение: короткий машинно-читаемый обзор сайта со ссылками на ключевые разделы. Официальным стандартом оно не является, но стоит дёшево и решает задачу «дать агенту карту». Расширенный вариант llms-full.txt содержит выжимку контента целиком.

Разметка страницы

• Структурированные данные (schema.org в формате JSON-LD): Organization с реквизитами, Article с автором и датой, BreadcrumbList, FAQPage для вопросов-ответов. Это единственный способ сообщить машине факт без разбора текста.
• Канонические адреса и корректные hreflang для языковых версий — иначе дубли размывают сигнал.
• Иерархия заголовков. Один h1, осмысленные h2/h3. По ним нарезают фрагменты и по ним же строят оглавление ответа.
• Таблицы вместо абзацев там, где данные табличные: из таблицы факт извлекается однозначно.
• Осмысленные адреса и заголовки страниц — они часто становятся подписью к цитате.

Инфраструктура

• Серверный рендеринг или статическая генерация для всего значимого контента.
• Быстрый и стабильный ответ: агент не ждёт долго и не повторяет попытку.
• Отсутствие обязательных баннеров и модальных окон поверх контента — часть парсеров упирается именно в них.
• Честные коды ответов: 404 для отсутствующего, 301 для переехавшего. «Мягкая» 404 со страницей-заглушкой отравляет индекс.

Доступность

• Контент виден при отключённом JavaScript.
• robots.txt не блокирует агентов, которых вы хотите видеть, и решение об этом принято осознанно.
• sitemap.xml полный, с датами изменения, без мусорных URL.
• Есть llms.txt с картой ключевых разделов.
• Ответ сервера быстрый и стабильный, без обязательных модальных окон поверх контента.

Разметка

• На каждой странице есть JSON-LD: организация, тип страницы, автор, дата.
• Заданы канонические адреса и hreflang для языковых версий.
• Иерархия заголовков соблюдена, h1 один.
• Табличные данные оформлены таблицами, а не списками в тексте.

Содержание

• Каждый раздел начинается с прямого ответа.
• Абзацы самодостаточны и понятны вне контекста страницы.
• У фактов есть даты, у утверждений — основания.
• Реквизиты, лицензии и подтверждающие документы доступны на отдельной странице без регистрации.
• Нет двух страниц, отвечающих на один вопрос по-разному.

Наблюдение

• В логах выделены обращения агентов, известна их доля и динамика.
• Есть регулярная проверка: что отвечают популярные ассистенты на ключевые вопросы о вашей компании.
• После публикации запускается принудительная переиндексация изменённых адресов.

Привычные метрики здесь работают плохо: агент часто не приводит трафик вовсе, а формирует представление у пользователя. Что измеримо на практике:

• Доля обращений агентов в логах — по User-Agent. Растёт вместе с их проникновением; резкий провал обычно означает, что вы их случайно заблокировали.
• Регулярный опрос ассистентов. Список из 20–30 вопросов о компании и её тематике, ежемесячная сверка ответов: что говорят, ссылаются ли на вас, нет ли устаревших сведений.
• Полнота индекса — доля страниц из карты сайта, попавших в поисковый индекс.
• Время до индексации новой публикации.
• Доля страниц с корректной структурированной разметкой — проверяется автоматически при сборке сайта.