Самая дорогая ошибка сайта стоит ноль рублей и десять минут

robots.txt — файл-вахтёр в корне сайта: он говорит роботам, куда можно заходить. У множества сайтов AI-боты в нём закрыты по умолчанию, вместе со всем «лишним» трафиком. Результат: ассистент не отказывается Вас называть — он просто никогда не видел Вашу страницу.

Доступность страницы для бота — фактор №1 цитирования, 9,5 из 10 по методике GEOPULS. Ни одна другая правка не даёт столько за десять минут работы.

Что вставить

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Bingbot
Allow: /

User-agent: YandexBot
Allow: /

User-agent: Applebot-Extended
Allow: /

Sitemap: https://вашсайт.ру/sitemap.xml

Проверка простая: откройте в браузере вашсайт.ру/robots.txt — вставленный блок должен читаться там прямо текстом. Увидели Вы — увидит и бот. В последней строке замените адрес на свой.

Про llms.txt, о котором все пишут

Как фактор цитирования он стоит 2 из 10, то есть почти не работает, и Google прямо пишет, что его не использует. Класть можно, но последним пунктом и только с верной структурой ссылок: кривой файл хуже отсутствующего.

В нашем отчёте эта правка — проверка «Сайт открыт для AI-ботов» в категории «ИИ-готовность». Если она горит красным, начинайте с неё: остальные пункты плана без неё работают вхолостую.

Читайте дальше