Для того чтобы сайт появился в результатах поиска в конкретной поисковой системе, он должен быть проиндексирован. Индексацию выполняет поисковый робот, он посещает страницы вашего сайта, анализирует их содержимое и регистрирует сайт в базе данных поисковой системы.
После занесения в индекс поисковика страница сайта может появиться в списке результатов поиска. В противном случае данные, размещенные на вашем сайте, не могут быть использованы поисковой системой, т.к. она, просто-напросто, ничего не знает о нем!
Как правило, при индексации сайтов, содержащих от нескольких десятков до нескольких сотен страниц, не возникает проблем. Тем не менее, создавая сайт, следует учитывать некоторые полезные правила.
Существуют два способа регистрации сайта в поисковой системе:
· Вы можете сами сообщить конкретной поисковой системе о появлении нового сайта. Для этого достаточно вручную добавить адрес сайта в специальную форму поисковой системы. После этого адрес сайта будет поставлен в очередь на индексацию. Под адресом сайта здесь подразумевается адрес главной страницы сайта, все остальные страницы поисковый робот обнаружит самостоятельно, пользуясь ссылками.
· Можно дождаться, пока поисковый робот сам посетит ваш сайт. В этом случае индексация вашего сайта произойдет быстрее, если существуют ссылки на него с других сайтов, которые уже проиндексированы поисковой системой. Этот вариант является наиболее предпочтительным, наличие внешних ссылок с других ресурсов Сети является, как правило, самым быстрым способом индексации, даже по сравнению с ручным добавлением сайта в очередь на индексацию.
На индексацию сайта затрачивается обычно от 2-3 дней до 2 недель. Эти сроки зависят от поисковой системы. Самая высокая скорость индексации у поисковой системы Google.
В ваших интересах облегчить работу поисковых роботов, для этого соблюдайте простые правила:
· Желательно, чтобы для перехода на любую страницу вашего сайта с главной страницы нужно было использовать не более 3-х ссылок. Если вам необходима более сложная структура сайта, создайте отдельную страницу с картой сайта, которая обеспечит выполнение этого правила.
· Избегайте часто совершаемых ошибок, затрудняющих индексацию. К ним относится, например, использование идентификаторов сессий. В случае если навигация на вашем сайте осуществляется скриптами, добавьте дополнительно ссылки, действующие обычным образом, т.к. поисковые системы не обрабатывают скрипты. Эти и другие типичные ошибки рассматриваются более подробно в главе 2.3.
· Следует помнить, что поисковые системы могут индексировать на каждой странице первые 100-200 кб текста. Страницы большего объема не будут проиндексированы полностью. Поэтому не рекомендуется создавать страницы объемом более 100 кб, чтобы гарантировать полную индексацию страницы.
Существуют средства, позволяющие управлять процессом индексации. К ним относится файл robots.txt, с помощью которого можно разрешать или запрещать индексацию отдельных страниц сайта. Для индексации в российских поисковых системах можно также использовать специализированный тег "NOINDEX", который позволяет частично закрывать страницу для индексации.
Вас не должно удивлять то обстоятельство, что количество проиндексированных страниц вашего сайта время от времени изменяется, т.к. поисковые системы периодически актуализируют свои базы данных, записи в них изменяются, удаляются, добавляются и т.п.
Часто бывает, что страница удаляется из индекса из-за недоступности сервера. Это означает, что поисковый робот не получил доступ в момент обращения к вашему сайту. Сайт снова появится в индексе после того, как работоспособность сервера будет восстановлена, но для этого потребуется некоторое время.
Важно отметить, что увеличение числа внешних ссылок на ваш сайт заметно ускорит его переиндексацию.
Каждое посещение сайта поисковым роботом фиксируется в лог-файле сервера. Анализируя содержимое лог-файла, можно контролировать, как проходит индексация сайта. Программам, которые помогают это делать, будет посвящен специальный раздел.
Идёт загрузка...