Файл robots.txt, который должен находится в главной папке, может содержать в себе ряд полезных правил:

– Закрытие ненужных страниц (разделов) от индексации роботом.
Все разделы, которые не должны попасть в индекс, например, в случае дублирования контента или разделов, в которые может попасть только авторизованный пользователь (приватный форум) или же админка, необходимо (очень желательно) закрыть в файле robots.txt. При этом, с одной стороны, вы уменьшаете нагрузку на сервер и, с другой стороны, поисковый робот берет только нужный контент.

Пример подобного файла можно посмотреть тут: http://www.yandex.ru/robots.txt.

– Указание пути к xml карте сайта.
Подробней о карте сайта написано в следующем пункте.

– Время задержки между запросами робота.
Яндекс и Bing поддерживают эту директиву – Crawl-delay, которая указывает в секундах задержку между двумя обращениями робота к серверу. Очень полезно, когда робот поисковой системы сильно нагружает сервер. Как эта директива влияет на позиции сайта? Лишь косвенно, влияя на скорость отдачи страниц сервером.

Более подробно о том, как использовать файл robots.txt читайте в разделе помощи яндекса, и также у google.

Вот пример файла robots.txt в одном из самых простых случаев:

Код: Получить код
# Zdravstvui, robot, dorogoi –
# Golova iz vaty.
# Vot opyat ty k nam prishol
# S vidom vorovatym…
#
# Indeksirui vse podrad
# Pravdy ne skryvaya –
# Chtoby pishno rascvetal
# Saitik nash prekrasniy!
#
# Chtoby kazhdyi ohlamon
# S silnym zudom pyatok
# Mog vezde naiti legko
# Fotki, fil’mi, babok!

User-agent: *
Disallow:
crawl-delay: 30

Sitemap: http://myspace-webgraphics-software.net/sitemap.xml

2. Сделайте карту сайта (Sitemap)

Поисковые системы должны знать о том, по каким адресам находятся страницы вашего сайта, какой контент на них расположен и насколько он важен для посетителей. Если у вас простая навигация, когда любая страница доступна в 1-2 клика от главной, тогда sitemap может и не понадобится. В других случаях, когда структура сайта очень сложная и ресурс имеет множество разделов, желательно создать карту сайта в виде sitemap.xml или на крайний случай в виде sitemap.html.

Об использовании sitemap очень подробно описано в разделах помощи у яндекса или у google.

Вот пример карты сайта гугла: http://www.google.com/sitemap.html в HTML формате и в XML формате (грузится долго, наберитесь терпения).
3. Увеличьте скорость отдачи страниц

Скорость, с которой отдаются страницы сайта сервером, уже является одним из факторов ранжирования в Google, а также косвенно влияет на другие факторы ранжирования во всех поисковых системах (например, среднее время нахождения пользователя на сайте, процент отказов и т.д.).

Как проверить скорость и при необходимости ускорить свой сервер?

Прежде всего, откройте главную страницу и попробуйте походить по ссылкам, используя навигацию. Устраивает ли вас скорость загрузки, как пользователя? Для точной проверки скорости в мозиле имеется множество плагинов (Tamper Data, Firebug и др.). Лучше всего использовать Firebug, в котором можно отследить количество загружаемых скриптов и их время загрузки, определяя, что больше всего тормозит на странице.

Ускорить сервер можно, переехав на хороший хостинг, добавив кеширование страниц, например, используя smarty в связке с apc (alternative php cache) и оптимизируя код страниц, убрав с них всё лишнее.
4. Склейте домены с www и без www

У многих сайтов в индексе страницы без www префикса дублируются аналогичными с www. Проверить это можно, используя специальные операторы поиска (url: в яндексе и site: в Google).

Когда-то вы ставили на свой сайт ссылки с www префиксом, сейчас без него, поэтому в ссылочном графе неразбериха и необходимо в нём навести порядок. Когда вы склеите оба сайта (варианта), прописав главный из них в файле robots.txt в директиве Host, то виц ресурса повысится, объединив виц каждого из них и, таким образом, вы можете ещё немного подняться в выдаче по своим запросам.

Для Google и других поисковых систем (кроме Яндекса) склейка происходит с помощью 301-го редиректа.
5. Склейте домен с более трастовым

Возможно, у вас имеются ряд зеркал и они не склеены между собой. Для повышения виц лучше будет, если вы их склеите по описанному выше методу. Также склейка домена с более трастовым доменом повысит авторитетность ресурса и поможет подняться ещё немного выше в серпе.

Дополнительно про траст можно почитать здесь.
6. Присвойте сайту регион

В яндексе это делается в панели для вебмастеров, в Google тоже можно указать принадлежность домена, если он не имеет ярко выраженную гео-зону в названии. Если вы не присвоите домену регион, то Яндекс или другой поисковик сделает это за вас (по нескольким признакам), не всегда его выбор может совпадать с вашим желанием. Поэтому, если вы хотите, чтобы вас находили в нужном регионе, присвойте своему ресурсу тот, в котором вы продвигаете свой сайт. Если вы продвигаете товар или услугу по всем регионам (многим), то ищите другие выходы (например, сделайте под каждый регион свой раздел).
7. Вынесите скрипты и стили в отдельные файлы

Хорошей манерой является создание такого кода сайта, когда скрипты и стили вынесены в отдельные файлы. С одной стороны, они перестают засорять код, а с другой, уменьшают размер страницы, позволяя серверу быстрее отдавать её посетителям (и в том числе роботам поисковых систем). Уделяйте много внимания дизайну (внешнему виду) сайта, но также уделяйте достаточно внимания коду (внутреннему виду) сайта, он тоже влияет (пусть в некоторых случаях и косвенно) на ранжирование и позицию ресурса в серпе.
8. Замените 404-ые ошибки на 301-ые

С одной стороны, когда посетитель ввел несуществующий адрес вашего сайта, необходимо выдать ему соответствующее сообщение, это будет корректно по отношению к посетителю, но с другой стороны, можно не спрашивая, направить его на нужную страницу или, если нету таковой, на главную страницу сайта. То есть, избавившись от 404-ых ошибок, заменив их 301-ыми редиректами на существующие, мы повысим вес последних страниц (склеив несуществующие с существующими), а это поможет нам еще чуть-чуть в общей задаче – повысить траффик с поисковых систем.
9. Используйте кросспостинг

Самый простой пример кросспостинга – настроить FeedBurner и дублировать анонсы в сервис микроблогов Твиттер. Также вы можете кросспостить материалы сайта (статьи, новости и обсуждения) на другие блог-платформы. Это, безусловно, улучшит видимость вашего сайта в сети и увеличит количество обратных ссылок, что повлечет за собой очередное повышение рейтинга в серпе.

Если у вас имеются дополнительные методы улучшения ранжирования без изменения контента сайта – поделитесь ими с нами в комментариях.