IndexPilot: все страницы sitemap — в поиске Google и Яндекса

Что делает IndexPilot

IndexPilot — Telegram-бот для тех, кто ведёт сайты и устал отправлять страницы на индексацию по одной вручную. Вы присылаете sitemap, бот проверяет каждую страницу в Google Search Console и Яндекс Вебмастере, показывает, каких страниц нет в поиске, и отправляет их на переобход через официальные API. Отправка идёт постепенно: бот расходует суточную квоту и сам досылает очередь, пока все страницы не будут отправлены.

Как это работает

• Подключите панели вебмастера. Пришлите JSON-ключ сервисного аккаунта Google для каждого сайта и подключите Яндекс Вебмастер через OAuth прямо в чате. Бот сам определит, какими ресурсами владеет каждый ключ.
• Пришлите sitemap. Одна команда проверяет все URL обычной или индексной карты сайта и присылает TSV-отчёт со страницами, которых нет в индексе. Достаточно указать домен — бот возьмёт /sitemap.xml.
• Очередь сделает остальное. Отсутствующие страницы попадают в очередь сайта, которая каждый день расходует квоту и пополняется сама каждые несколько минут, пока не опустеет.

Проверка индексации по sitemap

Бот читает обычные и индексные sitemap до 50 000 URL, в том числе сжатые gzip. Для Google одна выгрузка Search Analytics отмечает страницы с показами как проиндексированные, остальные проверяются через URL Inspection параллельно, с таймаутами и повторами. Для Яндекса sitemap сопоставляется со «Страницами в поиске», включая кириллические домены и адреса. Страница с неизвестным статусом никогда не считается отсутствующей, поэтому команды reindex отправляют только страницы с подтверждённым статусом «не в индексе».

Очередь на переобход и суточные лимиты

У каждого сайта своя очередь и свой дневной лимит: квота Яндекса берётся из API, отправленное в Google считается по ключу сервисного аккаунта. Очередь переживает перезапуск и не теряет взятую в работу пачку. Ошибки квоты, 429 и 5xx повторяются позже, а URL, отклонённый API, убирается из очереди в отдельный список с причиной — один битый адрес больше не блокирует остальные.

Сводка по сайту и история

Команда /site_info собирает всё в одном сообщении: страницы в поиске и исключённые, страницы с показами в Google, размер sitemap, ИКС и проблемы сайта в Яндексе, внешние и битые ссылки, Domain Rating Ahrefs и Open PageRank, переходы и показы из Яндекса, Google и Bing, оценки Lighthouse главной страницы. Рядом с каждой цифрой — изменение с прошлой проверки, а историю по дням можно выгрузить в TSV.

Много сайтов в одном боте

IndexPilot рассчитан на владельцев нескольких сайтов и SEO-агентства. Каждый сайт Google работает со своим ключом и своей квотой: бот выбирает ключ по домену URL и отклоняет домен, которым не владеет ни один ключ, ещё до запроса. Хосты Яндекса тоже определяются по домену. Долгие операции идут фоновыми задачами с прогрессом и оценкой остатка, а в одном сообщении можно прислать до 30 команд.

Личная панель

Команда /web выдаёт личную ссылку на панель на indexpilot.purplelabs.eu: сайты, графики истории, очередь по сайтам и текущие задачи. Данные обновляет сам бот, ссылку можно сбросить в любой момент. Токены и ключи не покидают сервер бота — сайт получает только цифры и статусы.

Стоимость

Все функции доступны на любом тарифе. Один сайт — бесплатно навсегда, каждый дополнительный — 5 € в месяц с отменой в любой месяц. Например, 4 сайта: 1 бесплатный + 3 × 5 € = 15 € в месяц. Бот говорит по-русски и по-английски.

Кому подходит

Владельцам сайтов, интернет-магазинам, SEO-специалистам и агентствам, которым нужно, чтобы новые и обновлённые страницы быстрее попадали в поиск, а картина индексации была видна без двух панелей вебмастера. Гарантировать индексацию не может ни один инструмент — решают поисковики, — но IndexPilot следит, чтобы каждая страница была проверена и отправлена, и показывает результат. Откройте @Indexpilotbot в Telegram или узнайте больше на indexpilot.purplelabs.eu.