Блог об настройках плагинов WordPress и поисковой оптимизаций для начинающих вебмастеров. Быстрый способ проверить индексацию страниц в Яндексе и Google Когда в яндексе была индексация
Индексирование сайта - это важнейшая, необходимая и первоочередная деталь в осуществлении его оптимизации. Ведь именно вследствие наличия индекса поисковые системы предельно быстро и точно могут отвечать на все запросы пользователей.
Что такое индексация сайта?
Индексацией сайта называют процесс добавления информации о содержимом (контенте) сайта в базу данных поисковиков. Именно индекс и является базой данных поисковых систем. Для того чтобы сайт был проиндексирован и появился в поисковой выдаче, на него должен зайти специальный поисковый бот. Весь ресурс, страница за страницей, исследуется ботом по определенному алгоритму. В результате находя и индексируя ссылки, изображения, статьи и т. д. При этом в поисковой выдаче выше в перечне будут находиться те сайты, авторитет которых выше по сравнению с остальными.
Выделяют 2 варианта индексации сайта ПС:
- Самостоятельное определение поисковым роботом свежих страниц либо созданного ресурса - данный способ хорош при наличии активных ссылок с других, уже проиндексированных сайтов, на ваш. В ином случае ждать поискового робота можно бесконечно долго;
- Пнесение URL на сайт в предназначенной для этого форме поисковика ручным способом - этот вариант позволяет новому сайту «встать в очередь» на индексацию, которая займет довольно продолжительное время. Способ простой, бесплатный и требует внесения адреса лишь главной страницы ресурса. Данную процедуру можно выполнить через панель вебмастера Яндекса и Гугла .
Как подготовить сайт к индексации?
Сразу стоит отметить, что крайне нежелательно выкладывать сайт на стадии разработки. Поисковые системы могут проиндексировать неоконченные страницы с некорректными сведениями, орфографическими ошибками и т. д. В итоге это негативно отразится на рейтинге сайта и выдаче информации с данного ресурса в поиске.
Теперь давайте перечислим моменты, о которых нельзя забывать на этапе подготовки ресурса к индексации:
- на flash файлы распространяются ограничения индексации, поэтому сайт лучше создавать с помощью HTML;
- такой тип данных, как Java Script также не индексируется поисковыми роботам, в связи с этим навигацию по сайту следует дублировать текстовыми ссылками, а всю важную информацию, которая должна быть проиндексирована, не пишем в Java Script;
- нужно убрать все неработающие внутренние ссылки так, чтобы каждая ссылка вела на реальную страницу вашего ресурса;
- структура сайта должна позволять с легкостью переходить от нижних страниц к главной и обратно;
- лишние и второстепенные сведения и блоки лучше переместить к низу страницы, а также скрыть их от ботов специальными тегами.
Как часто происходит индексация?
Индексация сайта в зависимости от ряда причин может занимать от нескольких часов до нескольких недель, вплоть до целого месяца. Обновление индексации, или апы поисковых систем происходят с различной периодичностью. По статистике в среднем Яндекс индексирует новые страницы и сайты за период от 1 до 4 недель, а Google справляется за период до 7 дней.
Но при правильной предварительной подготовке созданного ресурса эти сроки можно сократить до минимума. Ведь по сути все алгоритмы индексации ПС и логика их работы сводится к тому, чтобы дать наиболее точный и актуальный ответ на запрос пользователя. Соответственно, чем регулярнее на вашем ресурсе будет появляться качественный контент, тем быстрее он будет проходить индексацию.
Методы ускорения индексации
Для начала следует «оповестить» поисковики о том, что вы создали новый ресурс, как уже говорилось в пункте выше. Также многие рекомендуют добавить новый сайт в системы социальных закладок, но я так не делаю. Это действительно позволяло ускорить индексацию несколько лет назад, так как поисковые роботы частенько «наведываются» на такие ресурсы, но, на мой взгляд, сейчас лучше поставить ссылку из популярный соц сетей. В скором времени заметят и ссылку на ваш ресурс, и проиндексируют его. Подобный эффект может быть достигнут и при помощи прямых ссылок на новый сайт с уже проиндексированных ресурсов.
После того как несколько страниц уже попали в индекс и сайт стал развиваться для ускорения индексации можно попробовать «прикормить» поискового бота. Для этого нужно переодически публиковать новый контент примерно через равные промежутки времени (например, каждый день по 1-2 статьи). Конечно же, контент должен быть уникальным, качественным, грамотным и неперенасыщенным ключевыми фразами . Также рекомендую создать XML карту сайта, о котором пойдет речь ниже и добавить его в панели веб-мастера обоих поисковых систем.
Файлы robots.txt и Sitemap
Текстовый файл robots txt включает в себя указания для ботов поисковиков. При этом он дает возможность запретить индексацию выбранных страниц сайта для заданной поисковой системы. Если будете его делать вручную, то важно, чтобы имя данного файла было прописано только прописными буквами и находилось в корневой директории сайта, большинство CMS генеририруют его самостоятельно или с помощью плагинов.
Sitemap или карта сайта представляет собой страничку, содержащую полную модель структуры сайта в помощь «заблудившимся пользователям». При этом можно перемещаться со страницы на страницу без использования навигации сайта. Желательно создать такую карту и в формате XML для поисковых систем и вписать его в файл robots.txt для улучшения индексации.
Об этих файлах можете получить более подробную информацию в соответствующих разделах, перейдя по ссылкам.
Как запретить сайт к индексации?
Управлять, в том числе и запрещать сайт или отдельную страницу к индексации, можно при помощи уже упомянутого выше файла robots.txt. Для этого создайте на своем ПК текстовый документ с таким названием, поместите его в корневой папке сайта и пропишите в файле от какого поисковика вы хотите скрыть сайт. Кроме того, скрыть контент сайта от ботов Google или Яндекса можно используя знак * . Вот эта инструкция в robots.txt запретит индексацию всем поисковым системам.
User-agent: * Disallow: /
Для сайтов на WordPress запретить индексацию сайта можно через панель управления. Для этого в настойках видимости сайта нужно поставить галочку «Рекомендовать поисковым машинам не индексировать сайт». При этом Яндекс, скорее всего, прислушается к вашему пожеланию, а вот с Google не обязательно, но могут возникнуть некоторые проблемы.
Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.
Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) - это потеря дохода.
Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.
Проблема при мониторинге индексации
Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:
- («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);
Возможности инструмента:
- одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);
- возможность проверки сразу всех URL сайта по ;
- нет ограничения по количеству URL.
Особенности:
- работа «в облаке» - не нужно скачивать и устанавливать ПО или плагины;
- выгрузка отчетов в формате XLSX;
- уведомление на почту об окончании сбора данных;
- хранение отчетов неограниченное время на сервере PromoPult.
C Google все очень просто. Вам нужно добавить свой сайт в инструменты вебмастера по адресу https://www.google.com/webmasters/tools/ , после чего выбрать добавленный сайт, таким образом попадая в Search Console своего сайта. Далее в левом меню выбираем раздел «Сканирование», а в нем пункт «Просмотреть как Googlebot».
На открывшейся странице в пустое поле вводим адрес новой страницы, которую хотим быстро проиндексировать (с учетом уже введенного доменного имени сайта) и жмем правее кнопку «Сканировать». Ждем, пока страничка просканируется и появится в верхней части таблицы ранее сканированных подобным образом адресов. Далее жмем на кнопку «Добавить в индекс».
Ура, ваша новая страница моментально проиндексирована Гуглом! Уже через пару минут вы сможете найти ее в гугловской выдаче.
Быстрая индексация страниц в Яндексе
В новой версии инструментов для вебмастера стал доступен аналогичный инструмент для добавления в индекс новых страниц. Соответственно, ваш сайт также предварительно должен быть добавлен в Яндекс Вебмастер. Туда же можно попасть выбрав в вебмастере нужный сайт, далее идем в раздел «Индексирование», выбираем пункт «Переобход страниц». В открывшемся окне вводим адреса новых страниц, которые хотим быстро проиндексировать (по ссылке на одной строке).
В отличие от Гугла, индексация в Яндексе пока не происходит мгновенно, но старается к этому стремиться. Выше произведенными действиями вы сообщите роботу Яндекса о новой странице. А проиндексирована она будет в течение получаса-часа - так показывает лично моя практика. Возможно, скорость индексации страницы в Яндексе зависит от ряда параметров (от репутации вашего домена, аккаунта и/или других). В большинстве случаев, на этом можно остановиться.
Если вы видите, что страницы вашего сайта плохо индексируются Яндексом , то есть несколько общих рекомендаций, как с этим бороться:
- Самая лучшая, но и трудная рекомендация – это поселить быстробот Яндекса на своем сайте. Для этого желательно каждый день добавлять на сайт свежие материалы. Желательно 2-3 и более материалов. Причем добавлять их не сразу все одновременно, а через некоторое время, например, утром, днем и вечером. Еще лучше было бы соблюдать примерно одинаковый график публикаций (примерно выдерживать одно и то же время добавления новых материалов). Также многие рекомендуют создать RSS ленту сайта, чтобы поисковые роботы могли считывать обновления прямо с нее.
- Естественно, далеко не все смогут в таких объемах добавлять новые материалы на сайт – хорошо, если получится добавлять 2-3 материала в неделю. В таком случае о быстроботе Яндекса можно особо не мечтать, а пытаться загонять в индекс новые странички другими способами. Самым эффективным из которых считается постинг ссылки на новые странички в прокаченные Твиттер аккаунты. С помощью специальных программ типа Twidium Accounter можно «прокачать» нужное вам количество твиттер аккунтов и уже с их помощью быстро загонять в индекс поисковых систем новые страницы сайта. Если у вас нет возможности постить ссылки в прокаченные аккаунты Твиттера самостоятельно, можно купить такие посты через специальные биржи. Один пост с вашей ссылкой в среднем будет стоить от 3-4 рублей и выше (в зависимости от крутости выбранного аккаунта). Но этот вариант будет довольно дорогим.
- Третий вариант быстрой индексации – это использование сервиса http://getbot.guru/ , который всего за 3 рубля поможет достигнуть нужного эффекта с гарантией результата. Хорошо подойдет для сайтов с редким графиком добавления новых публикаций. Есть там и более дешевые тарифы. Подробности и отличия их лучше смотреть на сайте самого сервиса. Лично я услугами данного сервиса в качестве ускорителя индексации очень доволен.
Конечно, можно также добавлять новые публикации в социальные закладки, что теоретически также должно способствовать быстрому индексированию сайта. Но эффективность такого добавления также будет зависеть от прокаченности ваших аккаунтов. Если у вас маленькая активность на них и вы используете аккаунты только для подобного спама, то полезного выхлопа практически не будет.
P.S. с большим опытом всегда актуальна - обращайтесь!
Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.
Индексация в Яндекс
Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает 🙂
Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.
Проверить индексацию сайта в Яндексе можно несколькими способами:
- с помощью Яндекс Вебмастера;
- с использованием операторов поисковой системы;
- с помощью расширений и плагинов;
- с помощью онлайн-сервисов.
Индексация страниц сайта в Яндекс Вебмастер
Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».
Статистика обхода в Яндекс Вебмастер
Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.
Раздел содержит информацию о страницах:
- новые – страницы, которые недавно появились на сайте либо робот их только что обошел;
- изменившиеся – страницы, который поисковик Яндекса раньше видел, но они изменились;
- история обхода – количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).
На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.
А это график истории обхода.
В этом пункте отображены страницы, которые Яндекс нашел.
N/a – URL не известен роботу, т.е. робот её раньше не встречал.
Какие выводы из скрина можно сделать:
- Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
- Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.
Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо – Яндекс удалил, а что надо – Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.
Страницы в поиске
Поисковая выдача постоянно меняется – добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.
Информацию в разделе «Страницы в поиске» вы можете использовать:
- для отслеживания изменений количества страниц в Яндексе;
- для слежения за добавленными и исключенными страницами;
- для выяснения причин исключения сайта из поисковой выдачи;
- для получения информации о дате посещения сайта поисковиком;
- для получения информации об изменении поисковой выдачи.
Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.
Проверка количества страниц в индексе Яндекса с помощью операторов
Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.
Будем использовать два оператора:
- «site» – поиск по всем поддоменам и страницам указанного сайта;
- «host» – поиск по страницам, размещенным на данном хосте.
Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.
Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.
Проверка индексации с помощью плагинов и расширений
Проверить индексацию сайта с помощью сервисов
Таких сервисов очень много. Я покажу вам два.
Serphunt
Serphunt – онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.
Одновременно можно проверить до 100 страниц сайта по двум поисковикам – Яндекс и Google.
Нажимаем «Начать проверку» и через несколько секунд получаем результат:
Если есть проблемы с индексацией — в первую очередь надо проверить robots.txt и sitemap.xml.
Любая поисковая система имеет объемную базу данных, куда вносит все сайты и новые страницы. Эта база называется «индекс». Пока робот не обойдет html-документ, не проанализирует его и не внесет в индекс, он не появится в поисковой выдаче. Попасть на него можно будет только по ссылке.
Что значит «индексация»
Лучше, чем спец Яндекса по индексации, вам об этом не расскажет никто:
Индексация — это процесс, в ходе которого страницы сайта обходит поисковый робот и включает (либо же не включает) эти страницы в индекс поисковой системы. Поисковый бот сканирует весь контент, проводит семантический анализ текстового содержимого, качество ссылок, аудио- и видеофайлов. На основе всего этого поисковик делает выводы и вносит сайт в ранжирование.
Пока сайт вне индекса, о нем никто не узнает, кроме тех, кому вы можете раздать прямые ссылки. То есть ресурс доступен для просмотра, но в поисковой системе его нет.
Для чего вообще нужен индекс
Сайт должен попасть в видимость, чтобы продвигаться, расти и развиваться. Веб-ресурс, который не появляется ни в одной ПС, бесполезен и не несет пользы ни пользователям, ни его владельцу.
Вообще, вот полное видео со школы вебмастеров Яндекса, если посмотрите его полностью — станете практически спецом в вопросе индексации:
От чего зависит скорость индексации
Основные пункты, от которых зависит, насколько быстро ваш сайт может попасть в область внимания поисковых роботов:
- Возраст домена (чем старше доменное имя, тем более к нему благосклонны боты).
- Хостинг (ПС совершенно не любят и часто игнорируют бесплатные хостинги).
- CMS, чистота и валидность кода.
- Скорость обновления страниц.
Что такое краулинговый бюджет
У каждого сайта есть краулинговый бюджет — то есть количество страниц, больше которого в индекс попасть не может. Если КБ сайта — 1000 страниц, то даже если у вас их десять тысяч, в индексе будет лишь тысяча. Размер этого бюджета зависит от того, насколько ваш сайт авторитетный и полезный. И если у вас проблема такого характера, что страницы не попадают в индекс, то как вариант, вам нужно, как бы это банально ни звучало, улучшать сайт!
Индексация сайта
Создавая новый сайт, нужно правильно заполнить файл robots.txt, который указывает поисковикам, можно ли индексировать ресурс, какие страницы просканировать, а какие не трогать.
Файл создается в формате txt и помещается в корневой папке сайта. Правильный роботс — это отдельная тема. От этого файла в первую очередь зависит, что и как будут анализировать боты на вашем сайте.
Обычно, на оценку нового сайта и внесение его в базу данных поисковикам требуется от пары недель до пары месяцев.
Пауки тщательно сканируют каждый разрешенный html-документ, определяя соответствующую тематику для нового молодого ресурса. Осуществляется это действие не за один день. При каждом новом обходе ПС будут вносить все большее и большее число html-документов в свою базу. Причем время от времени контент будет подвергаться переоценке, вследствие которой могут меняться места страниц в поисковой выдаче.
Также управлять индексацией помогают мета-тег robots и отчасти canonical. При проверке структуры и решении проблем с индексацией надо всегда смотреть на их наличие.
Google сначала индексирует страницы верхнего уровня. Когда следует проиндексировать новый сайт с определенной структурой, первой в индекс попадает главная страница. После этого, не зная структуры сайта, поисковик будет индексировать то, что находится ближе к слешу. Позже индексируются каталоги с двумя слешами. Это значит, что, даже если ссылки в контенте расположены высоко, они не обязательно будут проиндексированы первыми. Важно оптимально составить структуру, чтобы важные разделы не находились за большим количеством слешей, иначе Google решит, что это страница низкого уровня.
Индексация страницы
Когда Яндекс и Гугл уже познакомились с сайтом и «приняли» его в свою поисковую базу, боты будут возвращаться на ресурс, чтобы сканировать новые, добавляющиеся материалы. Чем чаще и регулярнее будет обновляться контент, тем более пристально будут следить за этим пауки.
Говорят, что для индексации помогает плагин ПДС пингер для поиска Яндекса — https://site.yandex.ru/cms-plugins/ . Для этого нужно сначала установить поиск Яндекса на свой сайт. Но я особой пользы от него не ощутил.
Когда ресурс хорошо проиндексировался, выводить в поиск отдельные, новые страницы уже гораздо проще. Но тем не менее далеко не всегда анализ происходит равномерно и с одинаковой скоростью для всех, одновременно обновленных html-документов. Всегда выигрывают наиболее посещаемые и раскрученные категории ресурса.
Какие есть у поисковиков источники информации об url
Когда-то давно я привлекал быстроробота на конкурента, не продлившего домен, чтобы его понизили в выдаче – это не дало никакого результата.
Как проверить индексацию
Проверка видимости документов html осуществляется по-разному для Google и Яндекс. Но в целом не представляет собой ничего сложного. Сделать это сможет даже новичок.
Проверка в Яндекс
Система предлагает три основных оператора, позволяющих проверить, сколько html-документов находится в индексе.
Оператор «site:» – показывает абсолютно все страницы ресурса, которые уже попали в базу данных.
Вводится в строку поиска следующим образом: site:сайт
Оператор «host:» – позволяет увидеть проиндексированные страницы с доменов и поддоменов в рамках хостинга.
Вводится в строку поиска следующим образом: host:сайт
Оператор «url:» – показывает конкретную запрашиваемую страницу.
Вводится в строку поиска следующим образом: url:сайт/obo-mne
Проверка индексации этими командами всегда дает точные результаты и является самым простым способом анализа видимости ресурса.
Проверка в Google
ПС Гугл позволяет проверить видимость сайта только по одной команде вида site:сайт.
Но у Google есть одна особенность: он по-разному обрабатывает команду с введенными www и без. Яндекс же такого различия не делает и дает абсолютно одинаковые результаты, что с прописанными www, что без них.
Проверка операторами — это самый «дедовский» способ, но я для этих целей пользуюсь плагином для браузера RDS Bar.
Проверка с помощью Webmaster
В сервисах Google Webmaster и Yandex Webmaster также можно посмотреть, сколько страниц находится в базе данных ПС. Для этого нужно быть зарегистрированным в этих системах и внести в них свой сайт. Попасть в них можно по ссылкам:
Суть такая — просто вбиваете адреса страниц, и сервис вам выдаёт результаты:
Проверяет не очень быстро — там надо будет подождать минуты 3, но к бесплатному инструменту и претензий немного. Просто в фоновом окне ставьте и занимайтесь своими делами, через несколько минут результаты будут готовы.
Можно ли ускорить индексацию?
Повлиять на скорость загрузки html-документов поисковыми роботами можно. Для этого следует придерживаться следующих рекомендаций:
- Повышать количество соцсигналов, побуждая пользователей делиться линками в своих профилях. А можно брать твиты с живых аккаунтов в Prospero (klout 50+). Если составите свой вайт-лист твиттеров, считайте, что получили мощное оружие для ускорения индексации;
- Почаще добавлять новые материалы;
- Можно по самым дешевым запросам в своей тематике директ начать крутить;
- Вносить адрес новой страницы в аддурилки сразу же после ее публикации.
Высокие поведенческие факторы на сайте также положительно влияют на скорость обновления страниц в поиске. Поэтому не стоит забывать о качестве и полезности контента для людей. Сайт, который очень нравится пользователям, обязательно понравится и поисковым роботам.
В Google вообще все очень легко — добавить страницу в индекс в течение нескольких минут можно сканированием в панели для веб-мастеров (пункт сканирование/посмотреть как Googlebot/добавить в индекс). Таким же образом можно быстро переиндексировать необходимые страницы.
Я слышал еще истории о чуваках, которые отсылали урлы почтой Яндекса, чтобы они быстрее попали в индекс. На мой взгляд, это бред.
Если проблема прям есть, и все предыдущие советы не помогли, остается переходить к тяжелой артиллерии.
- Настраиваем заголовки Last-modified (чтобы робот проверял на обновление только документы, которые действительно изменились с последнего его захода);
- Удаляем мусор из индекса поисковых систем (этот мусор можно найти с помощью Comparser);
- Скрываем от робота все ненужные/мусорные документы;
- Делаем дополнительные файлы Sitemap.xml. Обычно роботы читают до 50 000 страниц из этого файла, если у вас страниц больше — надо делать больше сайтмапов;
- Настраиваем работу сервера.
