Как работает RAG-поиск в ChatGPT, Perplexity и AI Overviews
Генеративные поисковые системы не строят привычный список из десяти ссылок, а используют архитектуру Retrieval-Augmented Generation (RAG) для нарезки страниц на семантические фрагменты, перевода их в векторные эмбеддинги и синтеза единого ответа с кликабельными сносками.
При запросе в ChatGPT Search или Perplexity алгоритм запускает гибридный поиск, объединяя лексическое совпадение BM25 и векторную близость. Отобранные пассажи длиной 150–300 токенов оцениваются моделью-реранкером по плотности фактов и четкости сущностей.
Google AI Overviews работает по аналогичной двухэтапной схеме на базе основного индекса Google и моделей Gemini. Страницы из органического топ-10 имеют более высокую базовую вероятность выборки, но сайты с более низких позиций регулярно забирают цитирование за счет чистых HTML-таблиц.
Сравнение факторов классического SEO и Generative Engine Optimization (GEO)
Классическое SEO оптимизирует всю страницу под кликабельность (CTR) и ссылочный вес, тогда как GEO оптимизирует изолированные текстовые блоки под машинное извлечение фактов, точность цифр и упоминания бренда.
В 2026 году плотность ключевых слов почти не влияет на решения реранкера LLM. Решающим фактором становится способность отдельного абзаца на 50 слов дать исчерпывающий ответ без привязки к соседнему тексту.
| Параметр | Классическое SEO | Generative Engine Optimization (GEO) |
|---|---|---|
| Единица ранжирования | Весь URL / веб-страница | Семантический чанк (150–300 токенов) |
| Формат текста | Длинный нарратив с вариациями ключей | Перевернутая пирамида, факт в первом предложении |
| Роль таблиц и чисел | Улучшение UX и расширенные сниппеты | Критичный сигнал; прирост цитирований +32–40% |
| Влияние Brand Mentions | Dofollow-бэклинки (PageRank) | Бессылочные упоминания бренда и сущности |
| Технический доступ ботов | Googlebot / Bingbot с рендерингом JS | OAI-SearchBot, PerplexityBot, только SSR HTML |
| Скорость обновления фактов | Дни или недели по краулинговому бюджету | Минуты или реальное время через живой RAG-запрос |
| Ключевая метрика | Показы, CTR, органические сеансы | Доля цитирований, клики со сносок, Assisted CVR |
Архитектура идеального текстового чанка для цитирования
Идеальный GEO-блок открывается автономным ответом из 1–2 предложений с точными сущностями и цифрами, после чего приводится развернутое пояснение или HTML-таблица.
Парсеры RAG разрезают HTML-документ по заголовкам (<h2>, <h3>). Если раздел начинается с размытых рассуждений, вектор фрагмента отклоняется от интента пользователя и отсеивается реранкером.
- Правило первого предложения: формулируйте прямой ответ сразу под тегом
<h2>объемом 20–35 слов. - Явные сущности: заменяйте местоимения точными названиями («PerplexityBot», «ISO 8583», «2026 год»).
- Нативные HTML-таблицы: используйте
<table>,<thead>и<tbody>вместо картинок PNG и CSS-сеток. - FAQ на 35–60 слов: лаконичные блоки с разметкой
FAQPageпопадают в карточки ответов без обрезки.
Технический стандарт для ИИ-краулеров: llms.txt, robots.txt и SSR
Видимость в ИИ-поиске требует открытого доступа в robots.txt для поисковых ботов, серверного рендеринга (SSR) без скрытого в JS контента и файла /llms.txt в корне домена.
Владельцы сайтов часто теряют трафик, блокируя GPTBot и забывая оставить разрешение для OAI-SearchBot, либо загружая таблицы тарифов через клиентский JavaScript.
| User-Agent бота | Оператор | Назначение | Рекомендация для robots.txt |
|---|---|---|---|
OAI-SearchBot |
OpenAI | Индексация ChatGPT Search и живые сноски | Разрешить (Allow: /) для трафика |
GPTBot |
OpenAI | Сбор корпуса для обучения моделей | Разрешить или закрыть по IP-политике |
PerplexityBot |
Perplexity AI | Поисковый индекс и цитирование источников | Разрешить (Allow: /) для ссылок |
ClaudeBot |
Anthropic | Веб-поиск и проверка фактов в Claude | Разрешить для видимости бренда |
Google-Extended |
Управление данными для Gemini и AI Overviews | Разрешить для присутствия в обзорах |
Файл /llms.txt размещается по адресу https://site.com/llms.txt в формате Markdown и содержит H1-название проекта, краткое описание и ссылки на ключевые страницы, документацию и калькуляторы.
Экономика трафика из генеративного поиска: сравнение CVR и LTV
Трафик из ChatGPT Search и Perplexity показывает конверсию (CVR) в 2.3–3.1 раза выше обычного органического клика, так как пользователь завершает сравнение вариантов внутри диалога с ИИ до перехода на сайт.
Финансовая модель при среднем чеке (AOV) $180 и маржинальности 65% ($117 валовой прибыли с заказа):
- Классический Google Search: 10 000 визитов в месяц с конверсией 1.4% дают 140 заказов, $25 200 выручки и $16 380 валовой прибыли.
- Цитирования в ИИ-поиске (ChatGPT + Perplexity): 3 500 визитов с конверсией 3.8% дают 133 заказа, $23 940 выручки и $15 561 валовой прибыли — сопоставимый доход при трафике на 65% меньше.
С учетом более высокого 12-месячного LTV, реферальный трафик из LLM часто опережает платную рекламу по чистому ROI. Смоделировать воронку можно в калькуляторе юнит-экономики трафика, а методика расчета разобрана в статье про юнит-экономику в арбитраже трафика.
Частые ошибки GEO, блокирующие цитирование сайта
Четыре главные ошибки: блокировка OAI-SearchBot в WAF, скрытие характеристик в JS-вкладках, общие фразы без цифр и отсутствие микроразметки.
- Ложные срабатывания Cloudflare Bot Fight Mode: жесткие фильтры часто отдают код 403 ботам
PerplexityBotиOAI-SearchBot. - Данные на картинках или в Lazy DOM: таблицы тарифов в PNG или React-аккордеонах невидимы для текстовых RAG-парсеров.
- Отсутствие дат и авторства: реранкеры снижают приоритет страниц без полей
authorиdateModifiedв JSON-LD.
Пошаговый чек-лист GEO-аудита и переработки страницы за 60 минут
Превратить коммерческую или экспертную страницу в приоритетный источник для RAG-систем можно за час по следующему алгоритму:
- Проверьте
robots.txtи логи WAF, убедившись в статусе HTTP 200 дляOAI-SearchBot,PerplexityBotиClaudeBot. - Создайте и разместите в корне сайта файл
/llms.txtсо ссылками на 15–25 ключевых страниц. - Проверьте исходный HTML-код страницы (Ctrl+U), чтобы весь текст и таблицы присутствовали без выполнения JavaScript.
- Перепишите первые два предложения под каждым
<h2>, сформулировав прямой автономный ответ. - Преобразуйте минимум два текстовых сравнения в семантические HTML-таблицы
<table>с заголовками<th>. - Добавьте актуальные цифры 2026 года, проценты или финансовые расчеты в каждый основной раздел.
- Внедрите блок FAQ из 5 вопросов с ответами по 35–60 слов и валидной разметкой
FAQPageJSON-LD. - Настройте в GA4 отдельный сегмент для переходов с
chatgpt.com,perplexity.aiиclaude.ai.