IndexPilot: усе старонкі sitemap — у пошуку Google і Яндэкса

Што робіць IndexPilot

IndexPilot — Telegram-бот для тых, хто вядзе сайты і стаміўся адпраўляць старонкі на індэксацыю па адной уручную. Вы дасылаеце sitemap, бот правярае кожную старонку ў Google Search Console і Яндэкс Вэбмайстры, паказвае, якіх старонак няма ў пошуку, і адпраўляе іх на паўторны абыход праз афіцыйныя API. Адпраўка ідзе паступова: бот марнуе сутачную квоту і сам дасылае чаргу, пакуль усе старонкі не будуць адпраўлены.

Як гэта працуе

• Падключыце панэлі вэбмайстра. Дашліце JSON-ключ сэрвіснага акаўнта Google для кожнага сайта і падключыце Яндэкс Вэбмайстар праз OAuth проста ў чаце. Бот сам вызначыць, якімі рэсурсамі валодае кожны ключ.
• Дашліце sitemap. Адна каманда правярае ўсе URL звычайнай або індэкснай карты сайта і дасылае TSV-справаздачу са старонкамі, якіх няма ў індэксе. Дастаткова пазначыць дамен — бот возьме /sitemap.xml.
• Чарга зробіць астатняе. Адсутныя старонкі трапляюць у чаргу сайта, якая кожны дзень марнуе квоту і сама папаўняецца кожныя некалькі хвілін, пакуль не спусцее.

Праверка індэксацыі па sitemap

Бот чытае звычайныя і індэксныя sitemap да 50 000 URL, у тым ліку сціснутыя gzip. Для Google адна выгрузка Search Analytics адзначае старонкі з паказамі як праіндэксаваныя, астатнія правяраюцца праз URL Inspection паралельна, з таймаўтамі і паўторамі. Для Яндэкса sitemap супастаўляецца са «Старонкамі ў пошуку», уключна з кірылічнымі даменамі і адрасамі. Старонка з невядомым статусам ніколі не лічыцца адсутнай, таму каманды reindex адпраўляюць толькі старонкі з пацверджаным статусам «не ў індэксе».

Чарга на паўторны абыход і сутачныя ліміты

У кожнага сайта свая чарга і свой дзённы ліміт: квота Яндэкса бярэцца з API, адпраўленае ў Google лічыцца па ключы сэрвіснага акаўнта. Чарга перажывае перазапуск і не губляе ўзятую ў працу пачку. Памылкі квоты, 429 і 5xx паўтараюцца пазней, а URL, адхілены API, прыбіраецца з чаргі ў асобны спіс з прычынай — адзін бітый адрас больш не блакуе астатнія.

Зводка па сайце і гісторыя

Каманда /site_info збірае ўсё ў адным паведамленні: старонкі ў пошуку і выключаныя, старонкі з паказамі ў Google, памер sitemap, ІКС і праблемы сайта ў Яндэксе, знешнія і бітыя спасылкі, Domain Rating Ahrefs і Open PageRank, пераходы і паказы з Яндэкса, Google і Bing, ацэнкі Lighthouse галоўнай старонкі. Побач з кожнай лічбай — змяненне з мінулай праверкі, а гісторыю па днях можна выгрузіць у TSV.

Шмат сайтаў у адным боце

IndexPilot разлічаны на ўладальнікаў некалькіх сайтаў і SEO-агенцтвы. Кожны сайт Google працуе са сваім ключом і сваёй квотай: бот выбірае ключ па дамене URL і адхіляе дамен, якім не валодае ніводзін ключ, яшчэ да запыту. Хосты Яндэкса таксама вызначаюцца па дамене. Доўгія аперацыі ідуць фонавымі задачамі з прагрэсам і ацэнкай рэшты, а ў адным паведамленні можна даслаць да 30 каманд.

Асабістая панэль

Каманда /web выдае асабістую спасылку на панэль на indexpilot.purplelabs.eu: сайты, графікі гісторыі, чарга па сайтах і бягучыя задачы. Даныя абнаўляе сам бот, спасылку можна скінуць у любы момант. Токены і ключы не пакідаюць сервер бота — сайт атрымлівае толькі лічбы і статусы.

Кошт

Усе функцыі даступныя на любым тарыфе. Адзін сайт — бясплатна назаўсёды, кожны дадатковы — 5 € у месяц з адменай у любы месяц. Напрыклад, 4 сайты: 1 бясплатны + 3 × 5 € = 15 € у месяц. Бот размаўляе па-англійску і па-руску.

Каму падыходзіць

Уладальнікам сайтаў, інтэрнэт-крамам, SEO-спецыялістам і агенцтвам, якім трэба, каб новыя і абноўленыя старонкі хутчэй траплялі ў пошук, а карціна індэксацыі была бачная без дзвюх панэляў вэбмайстра. Гарантаваць індэксацыю не можа ніводзін інструмент — вырашаюць пошукавікі, — але IndexPilot сочыць, каб кожная старонка была праверана і адпраўлена, і паказвае вынік. Адкрыйце @Indexpilotbot у Telegram або даведайцеся больш на indexpilot.purplelabs.eu.