Заглавная страница
Избранные статьи
Случайная статья
Познавательные статьи
Новые добавления
Обратная связь

ТОП 10 на сайте

Приготовление дезинфицирующих растворов различной концентрации

Техника нижней прямой подачи мяча.

Франко-прусская война (причины и последствия)

Организация работы процедурного кабинета

Смысловое и механическое запоминание, их место и роль в усвоении знаний

Коммуникативные барьеры и пути их преодоления

Обработка изделий медицинского назначения многократного применения

Образцы текста публицистического стиля

Четыре типа изменения баланса

Задачи с ответами для Всероссийской олимпиады по праву

Мы поможем в написании ваших работ!

ЗНАЕТЕ ЛИ ВЫ?

Влияние общества на человека

Приготовление дезинфицирующих растворов различной концентрации

Практические работы по географии для 6 класса

Организация работы процедурного кабинета

Изменения в неживой природе осенью

Уборка процедурного кабинета

Сольфеджио. Все правила по сольфеджио

Балочные системы. Определение реакций опор и моментов защемления

Главная Избранные Случайная статья Познавательные Новые добавления Обратная связь FAQ

Материалы по баннерным системам

⇐ ПредыдущаяСтр 10 из 13Следующая ⇒

□ Статья «Баннерная реклама в баннерообменных сетях» вводит в тему баннерной
рекламы, рассказывает про форматы баннеров и про повышение эффективности
такой рекламы. Статья находится по адресу http://www.r-e-k-l-a-m~a.ru/index.
sema?a=texts&id=12.

□ О том, как выбрать подходящую баннерную сеть и как повысить CTR отдельного
баннера, говорится в статье «Как выбрать баннерную сеть», которая расположена
по адресу http://www.expertplus.ru/stati/stati-52.html.

Материалы по партнерским программам

□ На сайте Affi Hate. ru собрана обширная информация по различным партнерским
программам. Есть тематический каталог партнерских программ и полезные
статьи.

□ Специальный раздел для обсуждения партнерских программ есть на фору-
ме Searchengines.ru, адрес раздела — http://forum.searchengines.ru/forumdisplay.
php?f=35.

Материалы по дизайну GUI и юзабилити

□ Ресурс Webmascon.com представляет собой хорошую подборку материалов по
юзабилити, проектированию интерфейсов, по дизайну и веб-графике.

□ Серия статей «Ководство» посвящена графическому дизайну, проектированию
интерфейсов и типографике. Автор статей — Артемий Лебедев, адрес — http://
www.artlebedev.ru/kovod stvo/.

□ В разделе «Web-дизайн» на сайте «Библиотека сайтостроительства» находится
большая подборка полезных статей на тему юзабилити сайта и создания, адрес —
http://www.i2r.ru/static/255/.

Материалы по e-mail маркетингу

□ В «Энциклопедии интернет-рекламы» Тимофея Бокарева есть раздел про e-mail
маркетинг. Прочитать материал можно по адресу http://book.promo.ru/book/.

Материалы по мониторингу и анализу конверсии

□ Советуем ознакомиться с серией статей про инструмент веб-аналитики Google
Analytics на сайте Guicci. Первая статья находится по адресу http://guicci
ru/2006/12/13/google-analytics-chast-l-otkrovenie-dlya-seo-spetsialista/.

□ В рассылке «Продвижение сайта. Профессиональные советы экспертов» была
опубликована статья «Отслеживание коммерческой эффективности сайта». Про-
читать статью можно по адресу http://www.optimization.ru/subscribe/125.html.

Заключение

Возможно, читателя немного удивило, что в нашей книге нет общепринятой сегодня
конкретики в стиле «как украсть миллион за десять легких уроков», пошаговых
руководств, детальных описаний сервисов и инструментов, простых решений, а есть
лишь общие идеи, методы и проблемы.

Дело в том, что у нас не было цели наспех научить читателя оптимизировать или
«раскручивать» сайты. Цель этой книги иная — предложить подумать о том, что
происходит на рынке информации, о новых социальных процессах, рождение ко-
торых мы сегодня наблюдаем, и понять, как научиться добиваться устойчивого
успеха в этой «кипящей» среде.

На наших глазах Интернет становится главным информационным каналом. Это
ставит перед каждой коммерческой компанией, группой людей и, возможно, даже
перед каждым отдельным человеком новую задачу — состояться в информационном
пространстве. Найти и занять свое место в сетевом, виртуальном, информационном
мире. Без этого скоро будет сложно рассчитывать и на успех в реальной жизни.

Продвижение сайта в поисковых системах является наиболее популярным способом
занять свою сетевую нишу. Любая компания стремится, чтобы ее легко находили
потенциальные клиенты, поэтому поисковую оптимизацию, в силу ее массовости,
смело можно назвать социальным явлением.

Но когда на маленьком пятачке, в диапазоне видимости в результатах поиска по
«вкусному» запросу сталкиваются интересы множества сторон, вряд ли возможно
избежать конфликтов. Интересы поисковых систем часто могут не совпадать с
интересами владельцев сайтов. Интересы оптимизаторов иногда близки к инте-
ресам поисковиков, а иногда резко противоречат друг другу. Интересы проектов,
конкурирующих за посетителей «из поиска», просто прямо противоположны. При
этом правила этой сложной «игры в позиции» четко не определены и регулярно
меняются, что приводит к столкновению интересов специалистов, использующих
разные методы продвижения, от «белых» до «черных».

В такой ситуации разумному и осмотрительному владельцу сайта необходим внут-
ренний ориентир, точка опоры, система координат для принятия решений о том,
можно или нельзя использовать тот или иной прием в конкретной ситуации. В этой
книге мы постарались показать читателям, что таким ориентиром должно стать
простое правило: что бы вы ни делали, думайте о благе пользователей, которые
увидят результаты вашей работы. Остальное приложится.

Интернет еще слишком молод, и цивилизованного рынка поисковой оптимизации
пока не существует. Но он обязательно возникнет, и главной идеей этого рынка
будет забота о людях, которые ищут в Интернете информацию: максимально раз-
нообразную, точно соответствующую запросу за минимальное время поиска, — вот
характеристика поисковых технологий будущего.

Успехов вам!

Приложение 1. Роботы поисковых систем

Что такое роботы поисковых систем? Какую функцию они выполняют? Каковы
особенности работы поисковых роботов? Здесь мы постараемся дать ответ на
эти и некоторые другие вопросы, связанные с работой роботов.

Определения и терминология

В английском языке существует несколько вариантов названий поисковых робо-
тов: robots, web bots, crawlers, spiders; в русском языке фактически прижился один
термин — роботы, или, сокращенно, — боты.

На сайте www.robotstxt.org дается следующее определение роботам:

Веб-робот — это программа, которая обходит гипертекстовую структуру WWW,
рекурсивно запрашивая и извлекая документы.

Ключевое слово в этом определении — рекурсивно, то есть имеется в виду, что
после получения документа робот будет запрашивать документы по ссылкам из
него и т. д.

Имена роботов

Большинство поисковых роботов имеют свое уникальное имя (кроме тех роботов,
которые по каким-то причинам маскируются под пользовательские браузеры).

Имя робота можно увидеть в поле User-agent серверных лог-файлов, в отчетах
систем серверных статистик, а также на страницах помощи поисковых систем.

Так, робота «Яндекса» собирательно называют Yandex, робота «Рамблера» —
StackRambler, робота Yahoo! — Slurp и т. д. Даже пользовательские программы,
собирающие контент для последующего просмотра, могут специальным образом
представляться с помощью информации в поле User-agent.

Кроме имени робота в поле User-agent может находиться больше информации:
версия робота, предназначение и адрес страницы с дополнительной информацией.
Приведем в качестве примера полное имя робота Google (рис. П1.1).

Mozilla/5.0 (compatible; Googlebot/2.1; +http://wvvw.google.com/bot.html)

'--------------- 1-------------- ' '-------- 1—¹ V ¹-------------------------- —1--------------------- ¹

Совместимость Имя Версия Дополнительная

информация

Рис, П1.1. Структура полного имени робота Google

Немного истории

Еще в первой половине 1990-х годов, в период развития Интернета, существовала
проблема веб-роботов, связанная с тем, что некоторые из первых роботов могли
существенно загрузить веб-сервер, вплоть до его отказа, из-за того, что делали
большое количество запросов к сайту за слишком короткое время.

Системные администраторы и администраторы веб-серверов не имели возможно-
сти управлять поведением робота в пределах своих сайтов, а могли лишь полностью
закрыть доступ роботу не только к сайту, но и к серверу.

В 1994 году был разработан протокол robots.txt, задающий исключения для
роботов и позволяющий пользователям управлять поисковыми роботами в пре-
делах своих сайтов. Об этих возможностях вы читали в главе 7 «Как сделать сайт
доступным для поисковых систем».

В дальнейшем, по мере роста Сети, количество поисковых роботов увеличивалось,
а функциональность их постоянно расширялась. Некоторые поисковые роботы не
дожили до наших дней, оставшись только в архивах серверных лог-файлов кон-
ца 1990-х. Кто сейчас вспоминает робота T-Rex, собирающего информацию для
системы Lycos? Вымер, как динозавр, по имени которого назван. Или где можно
найти Scooter — робот системы Altavista? Нигде! А ведь в 2002 году он еще активно
индексировал документы.

Даже в имени основного робота «Яндекса» можно найти эхо минувших дней: фраг-
мент его полного имени «compatible; Win 16;» был добавлен для совместимости
с некоторыми старыми веб-серверами.

Что делают роботы поисковых систем

Какие же функции могут выполнять роботы?

В поисковой машине функционирует несколько разных роботов, и у каждого из них
свое предназначение. Перечислим некоторые из задач, выполняемых роботами:

□ обработка запросов и извлечение документов;
О проверка ссылок;

□ мониторинг обновлений;

□ проверка доступности сайта или сервера;

□ анализ контента страниц для последующего размещения контекстной рекламы;

□ сбор контента в альтернативных форматах (данные в форматах RSS и Atom).

В качестве примера приведем список роботов «Яндекса» из SearchenginesWiki
по адресуhttp://wiki.searchengines.ru/WikipediaSEO/PoiskovyeSistemy/Jandeks/
RobotyJandeksa?v=kip.

«Яндекс» использует несколько видов роботов с разными функциями. Идентифи-
цировать их можно по строке User-agent:

1. Yandex/1.01.001 (compatible; Win 16; I) — основной индексирующий робот;

2. Yandex/1.01.001 (compatible; Win 16; Р) — индексатор картинок;

3. Yandex/1.01.001 (compatible; Win 16; H) - робот, определяющий зеркала сай-
тов;

4. Yandex/1.03.003 (compatible; Win 16; D) — робот, обращающийся к странице
при добавлении ее через форму Добавить URL;

5. Yandex/1.03.000 (compatible; Win 16; M) — робот, обращающийся при открытии
страницы по ссылке Найденные слова;

6. YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; В; robot) - робот, ин-
дексирующий xml-файлы для поиска по блогам;

7. YandexSomething/1.0 — робот, индексирующий новостные потоки партнеров
«Яндекс-Новостей» и robots. txt для робота поиска по блогам.

Кроме того, в «Яндексе» работает несколько проверяющих роботов — «простуки-
валок», которые только проверяют доступность документов, ноне индексируют их.

1. Yandex/2.01.000 (compatible; Win 16; Dyatel; С) — «простукивалка» «Яндекс.

Каталога». Если сайт недоступен в течение нескольких дней, он снимается с
публикации. Как только сайт начинает отвечать, он автоматически появляется
в Каталоге.

2. Yandex/2.01.000 (compatible; Win 16; Dyatel; Z) — «простукивалка» «Яндекс.
Закладок». Ссылки на недоступные сайты помечаются серым цветом.

3. Yandex/2.01.000 (compatible; Win 16; Dyatel; D) — «простукивалка» «Яндекс.
Директа». Она проверяет корректность ссылок из объявлений перед модерацией.
Никаких автоматических действий не предпринимается.

В июне 2010 года «Яндекс» изменил вид своего представления в User-Agent с це-
лью унификации и большей информативности имен. Новые User-Agent позволяют
легко определить по имени робота его принадлежность к тому или иному сервису
«Яндекса».

1. Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.

2. Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий
зеркала сайтов.

3. Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор «Яндекс.Картинок».

4. Mozilla/5.0 (compatible; YandexVideo/3,0) — индексатор «Яндекс.Видео».

5. Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультиме-
дийные данные.

6. Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам,
индексирующий комментарии постов.

7. Mozilla/5.0 (compatible; YandexAddurl/2,0) — робот, обращающийся к странице
при добавлении ее через форму «Добавить URL».

8. Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пикто-
граммы сайтов (favicons).

9. Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы
сайтов, участвующих в Рекламной сети «Яндекса».

10. Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» «Яндекс.

Директа».

11. Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот «Яндекс.Метрики».

12. Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» «Яндекс.

Каталога».

13. Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор «Яндекс.Новостей».

И все-таки наиболее распространенные роботы — это те, которые запрашивают,
получают и архивируют документы для последующей обработки другими меха-
низмами поисковой системы. Здесь уместно будет отделить робота от индексатора.

Поисковый робот обходит сайты и получает документы в соответствии со своим внут-
ренним списком адресов. В некоторых случаях робот может выполнять базовый анализ
документов для пополнения списка адресов. Дальнейшей обработкой документов
и построением индекса поисковой системы занимается уже индексатор поисковой
машины. Робот в этой схеме является всего лишь «курьером» по сбору данных.

Поведение роботов на сайте

Чем отличается поведение робота на сайте от поведения обычного пользователя?

1. Управляемость. Прежде всего «интеллигентный» робот должен запросить с сер-
вера файл robots. txt с инструкциями по индексации.

2. Выборочное выкачивание. При запросе документа робот четко указывает типы
запрашиваемых данных в отличие от обычного браузера, готового принимать
все подряд. Основные роботы популярных поисковиков в первую очередь будут
запрашивать гипертекстовые и обычные текстовые документы, оставляя без
внимания файлы стилей оформления CSS, изображения, видео, ZIP-архивы
и т. п. В настоящее время также востребована информация в форматах PDF,
Rich Text, MS Word, MS Excel и некоторых других.

3. Непредсказуемость. Невозможно отследить или предсказать путь робота по
сайту, поскольку он не оставляет информации в поле Referer - адрес страницы,
откуда он пришел; робот просто запрашивает список документов, казалось бы,
в случайном порядке, а на самом деле в соответствии со своим внутренним
списком или очередью индексации.

4. Скорость. Небольшое время между запросами разных документов. Здесь речь
идет о секундах или долях секунды между запросами двух разных документов.
Для некоторых роботов есть даже специальные инструкции, которые указыва-
ются в файле robots. txt, по ограничению скорости запроса документов, чтобы
не перегрузить сайт.

Как может выглядеть HTML-страница в глазах робота, мы не знаем, но можем
попытаться себе это представить, отключая в браузере отображение графики и сти-
левого оформления.

1. Вид главной страницы сайта «Энциклопедия поисковых систем» в обычном
браузере показан на рис. П1.2.

Интервью (13)
Ключевые слове (7)
Контекстная рекламе (5)
Метатэги (1)

Поисковые системы (25)
События (8)
Софт-обзор (1?)
Ссылочное ранжирование (12)
Статьи (29)

Теоретические вопросы (16)
Технические приемы (15)
Реклама;

и а I и ~/о доступнее

NetPromoter - раскрутка,
продвижение и оптимизация
сайта

Выбрать и купить домашний
кинотеатр

Авк

Технологии вашего успеха
А(11_ооК: оптимизация сайтов,
продвижение сайтов в
поисковых системах

Рассылки:

К вопросу о ссылочном ранжировании

^ Прислано в раздел Ссылочное ранжирование от Юрий Агапов 14.11,2005 @
12:59

^^ поисковое

Ш Продвижение сайта:
вопросы подписчиков ~ ответы
экспертов

Новости поисковых систем
|ваш(ипо1

PK I

С ш р • и с Subscribe. Ru

Одним из основных факторов, влияющих на выдачу в поисковиках,
безусловно, является фактор наличия внешних ссылок на сайт, как
одна из важнейших характеристик популярности данного ресурса.
Это факт общеизвестный, и поэтому при продвижении ресурсов ему
уделяется самое пристальное внимание. Как следствие,...»>

"Большой брат" для рекламы

^ Прислано в раздел Статьи от Юрий Агапов 02.11.2005 @ 10:12

В 2004 году интернет-реклама, по данным Deutscb Bank, подорожала
в среднем на 11%, а оборот этого рынка на 73% вырос. Такие цифры
могут удивить, учитывая, что после кризиса 2001-го оценки успехов
э-коммерчесхой отрасли находятся на более скромном уровне. Однако
следует... >»

Обзор технических решений для интернет-магазинов

Прислано в раздел Софт-обзор от Юрий Агапов 12.10.2005 @ 18:36

Одними из ключевых решений для электронной коммерции, являются
технические решения, то есть системы управления сайтом. Логически
их можно разделить на системы упра;зления наполнением ресурса, так
называемые CMS и программы для продвижения, ведения,

мониторинга и анализа статистики. Рынок технических решений для...
>»

Как разработать реальный план получения доходов

Прислано в раздел Статьи от Юрии Агапов 06.10,2005 © 01:32

Отрывок из книги Ральфа Уилсона «Планирование стратегии
Интернет-маркетинга», Материал предоставили журнал
«Интернет-маркетинг» и электронная библиотека статей
Гребенников-Инфо. Как разработать реальный план получения
доходов Прежде чем перейти к рассмотрению основ планирования
маркетинга вашей компании в Интернете, следует внимательно
рассмотреть источники получения... >»

Поисковая оптимизация: от внешнего к внутреннему

Прислано в раздел Статьи от бгау 02,09,2005 @ 16:24

Что самое трудное в работе оптимизатора? Вопрос риторический. Дня
профессионала, будь то свободный специалист или целая компания,
вывод сайта по перспективным запросам на первую страницу или в
первую пятерку - не проблема. Эта - нормальные трудовые будни,
Никто и не обещал, что будет легко. А вот когда клиент, вложивший в
продвижение своего ресурса немалые средства, замечает, что «за
один день и бедственную ночь» его сайт вывалился за пределы
первой двадцатки, начинаются настоящие проблемы. Как объяснить
человеку, что все его вложения аннулированы одним-единственным
фактором: незначительной сменой поискового алгоритма, каким-то
крошечным новшеством в учете внешних факторов?»>

• 06.12.2005 К a noodle начнет
оплачивать издателям за
распределение cookies

♦ 06,12.2005 Яндекс.Маркет следит га

наличием товаров

♦ 05,12.2005 Новая турбо поисковая
система Каггоот. вступает в гонку с
Yahoo! и Google

♦ 05.12.2005 У PactbinoK@Mail,Ru - 5
миллионов подписчиков

• 0212,2005 AOL Mobile Search - новый
сервис службы Америка Онлайн

• 01.12.2005 ©Miail.Ru доставит письма
пользователей Деду Морозу

♦ 01.12.2005 Yahoo! Mart Beta - Yahoo!
расширяет RSS платформу

• 29.11.2005 TiVo объявляет о запуске
поиска, ре кланы на телевидении

♦ 29.11.2005 Интеллектуальная
поисковая система Nigma.ru обзавелась
собственны» индексом

• 25.11.2005 UmaxSearch расширяет
возможности вебмастеров

♦ 24.11.2005 Mad.Ru ЗапустмП сервис
блогов

• 23.11.2005 Google начинает
тестирование нового сервиса для
рекламодателей ClicMo-Call

* 23.11.2005 AOL обновила AOL Instant
Messenger - клиент службы мгновенных
сообщений

АП0РТ	Г ■ к
ищет что надо		0» аеівияік і	С. пщЭ С знакомства Г оаботз

£ Фекпама на сервере / Рассыпка новостей /Платные комсультаци

Продвижение сайта и поисковая
оптимизация

IngatQ.promo

* 22.11.2005 Библиотека Конгресса
начинает создавать Всемирную
Цифровую Библиотеку

Введите URL своего сайта:

|h«p// __________

Архив новостей..,:

Аудит продвижения сайга:

|http//www.site.ru/ 'j >» I

рта Регистрация (.мта
г*J в Л'і Л + каталогах

Ддс.-ьшз I

Регистрдцм. лрк псддврхк. 1PS.RU

Сергей Баиров: "Мв1Ргото1ег развивается в соответствии с
требованиями рынка"

•О Прислано в раздел Интервью от бгау 22.08.2005 ® 13:34

В эпоху лавинообразного роста числа новых интернет-проектов,
продвижение ресурса в Сети становится насущным вопросом для
любого сайта, претендующего на популярность, Решение этой
задачи невозможно без творческого подхода, но и качественный
инструментарий играет в данном процессе далеко не последнюю
роль. О предлагаемых рынку инструментах для продвижения сайта в
Сети в интервью рассказывает Сергей Баиров, исполнительный
директор компании МеФгог^ег.»>

Semonltor - программа для раскрутки и оптимизации сайта

Wi-Fi Яндекса в Узбекистане
Дотянет ли Google до 500$?
Интернет реклама и маркетинг-
тенденции и прогнозы на 2006
год

Google "подбивает бабки"?
Microsoft Fremont - идём по пятам
Подозрительный Matt Cutts
Поисковики "играют в футбол"
IV ежегодная конференция
"ПОИСКОВАЯ ОПТИМИЗАЦИЯ И
ПРОДВИЖЕНИЕ САЙТОВ В
ИНТЕРНЕТЕ" 05"
Битва за умы

Bill Gates настроен решительно

Рекомендуем:

ШМУн.і(чг

иы

ifömcSite II "«г—и

Promo.By

licontext

Прислано в раздел Интервью от Gray 15,08,2005 @ 22:31

Рис. П1.2. Главная страницы сайта «Энциклопедия поисковых систем» в обычном
браузере

2. Вид той же страницы, когда в браузере выключена графика и стили, а таблицы
представлены обычным (нормальным) потоком, показан на рис. П1.3.

Главная

Нррости

Дрс^с-редкзы

Поиск

Фору*

Интервью (IT)
Кгаоч_№Ыв слова ГО
Контекстная реклама (S)
МетвіїгиО)
Поисковые системы (25)
События (Б)
Софт-ойчор (17)
Осыяпчнпр мииддш*
(12)

Статьи (29)

Теоретические вопросы

(16)

Технические приемы (15)

00 форумам РУйета!

"Бятрнкс" ц NetPromoter
представляют щст
программ ддя управления
сайтами и поисковой
оптимизации

п озволяет разглядывать
собеседника

Page, Promoter п опуч нл

Мадшле/Rusgian Edition Best
Бегун подводит итоги

Рис. П1.3. Та же страница при отключенном отображении графики и стилей

3. Вид той же самой страницы, полученной из базы поисковой системы «Рамблер»
по ссылке Восстановить текст в результатах поиска, показан на рис. П1.4.

Таким образом, можно сделать вывод, что поисковые роботы закачивают в свой ин-
декс HTM L-структуру страницы, но без элементов оформления и без картинок.

Обновлено: ВДШВД&МЕ*

Rambler

» SearchenoifiQs ru- Поисковые системы. оптимиза1|ия и про/1ВШйние сайта

Дега создана«до суммек, Дата иидексироввмпг 29 J1.21105

37 Kb - top fAverw.gtaich«nRioe«tut • Нсйгкпохожи»

На той страниц«босстановллн ткет нойдыноео Вами документа, сохраненный при индексировании
Внимание' HTML-форматироваше твхста в<

Поисковые системы, оптимизация.	Поисковые системы, оптимизация. I» Реклама на сервере /Рассылка новостей 1
продвижение и раскрутка	іпродвиженне и раскрутка \|/ Платные консультации
Главная!ГДовостИ']\|,!Пресс-релизы'\|]1 [Поиск: ІМФорум^ІБлог [\|,;:!
«►[Поисковые системы, оптимизация, продвижение: j;фсайта

З а содержите документе Рамблер о

гевнности и» несет.

;£ К вопросу о ссылочном ранжироваш

[Прислано в раздел Ссылочное ранжир-
fiiiOpuK Агапов 14.11 2005 @ 12 59

[»Ердним из основных факторов, влияющих на выдачу в;
>[;;поисковиках, безусловно, является фактор наличия
! внешних ссылок на сайт, как одна из важнейших;|;|!|
-!; ^характеристик популярности данного ресурса Это!
>!-|факт общеизвестный, и поэтому при продвижении
Г;^ресурсов ему уделяется самое пристальное внимание.
^;!Как следствие,. ■»>

'Большой брат" для рекламы

. -..................

'ЩВи никогда не спрашивали себя, почемутакие
[•'поисковые машины, уж. например Googje или Yahoo,
'«[несмотря на огромную популярность в англоязычных
:j! [странах, заметно проигрывают в популярности
j''[отечественным Яндексу н Рамблеру? Ведь, казалось:р|
;бы, тот ке Google, с его восемью миллиардами
!;"проиндексированных страниц, должен давать больше;*!;
;$ТОЧНОЙ-:. >»

!;|Новые статьи в формате E.SS или в вашей ленте

[друзей HaLtveJoumal.com
•^rmfoj ^articlcs

Дизайн сайта - Россия Ксеркса Powered by Movable Tvpe.jfc) 2005 SearchEngnes.ru gray@searchenjqiies.ru;

♦ ToplOO: 202V72 все документы с гаким счетчиком

Прислано в раздел Статьи от Юрий Агапов

||02 1Г2005@ 10:12

;|!В 2004 году интернет-реклама, поданным Deutsch
*мШтк<*««Я|аадеаяа в среднем на 11%, а оборот этого

♦ SpyLog: 526635 все документы с таким счетчиком

I Интернет

■энциклопедия

Рис. П1.4. Та же станица, восстановленная из базы данных Рамблера

Управление роботами

Как же веб-мастер может управлять поведением поисковых роботов на своем
сайте?

Как уже было сказано выше, в 1994 году в результате открытых дебатов веб-масте-
ров был разработан специальный протокол исключений для роботов. До настоящего
времени этот протокол так и не стал стандартом, который обязаны соблюдать все
без исключения роботы, оставшись лишь в статусе строгих рекомендаций.

Не существует инстанции, куда можно пожаловаться на робота, не соблюдающего
правила исключений, можно лишь запретить доступ к сайту уже с помощью на-
строек веб-сервера или сетевых интерфейсов для IP-адресов, с которых «неинтел-
лигентный» робот отсылал свои запросы.

Однако роботы крупных поисковых систем соблюдают правила исключений, более
того, вносят в них свои расширения.

Об инструкциях специального файла robots. txt и о специальном мета-теге robots
подробно рассказывалось в главе 7 «Как сделать сайт доступным для поисковых
систем».

С помощью дополнительных инструкций в robots. txt, которых нет в стандарте,
некоторые поисковые системы позволяют более гибко управлять поведением своих
роботов. Так, с помощью инструкции Crawl-delay веб-мастер может устанавливать
временной промежуток между последовательными запросами двух документов
для роботов Yahoo! и MSN, а с помощью инструкции Host указать адрес основного
зеркала сайта для «Яндекса». Однако работать с нестандартными инструкциями в
robots. txt следует очень осторожно, поскольку робот другой поисковой системы
может проигнорировать не только непонятную ему инструкцию, но и весь набор
правил, связанных с ней.

Управлять посещениями поисковых роботов можно и косвенно: например, робот
поисковой системы Google чаще будет повторно забирать те документы, на которые
много ссылаются с других сайтов

Выводы

Роботы — необходимая и очень важная составная часть поисковых систем. Если
представить поисковую систему как «черный ящик», где выдача результатов по-
иска — это «выход» системы, то поисковые роботы — это «вход», на который по-
ступают документы.

Если грамотно подавать свои страницы на этот «вход», управляя поведением поис-
кового робота, можно добиться лучших результатов индексации — периодичности,
полноты и лучшего ранжирования.

Полезные ссылки

□ Принципы функционирования и описания работы поисковых роботов важно
изучать из первоисточников. Мы советуем читать материалы разделов помощи
на сайтах поисковиков. Ответы на вопросы о работе поискового робота «Яндек-
са» доступны по адресу http://help.yandex.ru/webmaster/7id-995324.

□ Материал «Как управлять индексированием сайта роботом Рамблера» вы най-
дете по адресу http://help.rambler.ru/artkle.html7id-3238is-221.

□ Ответы на вопросы, связанные с индексированием сайта и работой Google-6oTa,
можно получить на справочном форуме Google в разделе «Веб-поиск» — http://
www.google.com/support/forum/p/web+search/.

□ Имена роботов «Яндекса» можно узнать в официальном справочном разде-
ле «Как в логах сервера представляется робот» — http://help.yandex.ru/web-
master/?id =995329

Приложение 2. Словарь терминов
и жаргонизмов поисковой оптимизации

Любое профессиональное сообщество имеет свой язык, часто непонятный непо-
священным. Поисковое продвижение — не исключение. Ниже приведен толковый
словарь по поисковой оптимизации — список наиболее употребительных терминов и
жаргонизмов с разъяснением смысла каждого. В словарь также включены объяснения
некоторых технических терминов. В конце приложения также приведено несколько
полезных ссылок.

Словарь

Анкор (anchor). Текст ссылки. Например, в конструкции <а href-"http: //si te.
ru/add. html "»Регистрация в каталоге</а> анкором будет текст «Регистрация
в каталоге».

Апдейт (update). Обновление результатов поиска в поисковой системе, связанное
с изменением алгоритма ранжирования либо с учетом изменившейся ситуации
с цитированием сайтов.

Бан (банить, забанить). Сленговое выражение веб-мастеров; от англ. ban — запре-
щать. Означает способ наказания поисковой машиной за применение спамерских
приемов, который состоит в запрещении сайта к индексации и удалению его из
базы. Какие бы усилия ни были вложены в оптимизацию сайта, если сайт исключен
из индекса поисковой системы, он не получит посетителей из результатов поиска.
Восстановление в индексе не гарантируется, обычно требует личной переписки
с модераторами поисковика и в любом случае занимает длительное время.

Бид (от англ. bid — ставка). Количество денег, которое рекламодатель готов запла-
тить за клик по объявлению контекстной рекламы, в результате которого получает
посетителя на свой сайт.

Браузер (browser). Программа для просмотра веб-страниц. Программа, установ-
ленная на компьютере пользователя и позволяющая просматривать документы в
определенных форматах (HTML, XML и др.). Программа позволяет ввести в поле
адреса URL сайта и при наличии соединения с Интернетом получить указанную
страницу с веб-сервера.

Бэклинк (backlink). Ссылающаяся страница, URL ссылающейся страницы и текст
ссылки.

ВИЦ. Взвешенный индекс цитирования (ИЦ) «Яндекса», учитывающий число
страниц, ссылающихся на сайт, и собственный ВИЦ этих страниц. Рассчитывается
для каждой страницы в базе «Яндекса». Значения ВИЦ нигде не публикуются.
Является одним из факторов, влияющих на положение страницы в результатах
поиска «Яндекса».

Входная страница (дорвей). Страница сайта, оптимизированная под одну или
несколько поисковых фраз с целью попадания на высокие места в результатах
поиска. Автоматически созданный дорвей содержит случайный текст, в котором
периодически встречается нужная поисковая фраза, и потому не приносит посе-
тителю никакой пользы. Созданный вручную дорвей может быть осмысленной
страницей по узкой теме, полезной и нужной пользователю.

Дорвей (дор). Жаргонизм (от англ. doorway — входная дверь, портал). То же, что
и входная страница.

Забанить (жаргонизм) — удалить из индекса поисковой машины за применение
спаммерских приемов. См. Бан.

Зона видимости. Первые 30 позиций в поисковой выдаче.

Индекс. База данных поисковой машины, так называемый инвертированный ин-
декс. Обычно напоминает индекс терминов в учебниках и научных изданиях. Со-
держит словарь слов, встречающихся на интернет-страницах, с приписанными к
ним списками адресов интернет-страниц, содержащих эти слова. Служит для поиска
страниц с вхождениями заданных ключевых слов. Индекс пополняется поисковым
роботом во время периодических обходов Интернета.

Индексация. Процесс обхода страниц сайта и помещения их в базу поисковой
машины. Только после индексации страницы она может быть найдена в поисковой
машине.

ИЦ (индекс цитирования). Показатель «авторитетности» сайта с учетом качествен-
ной характеристики и количества ссылок на него с других сайтов, рассчитываемый
по технологии компании «Яндекс». Из общего числа ссылающихся доменов, как
правило, исключаются ссылки с сайтов, расположенных на бесплатных хостингах,
ссылки из гостевых книг, форумов и ряда каталогов. Влияет на положение сайта
в каталоге «Яндекса».

Клиентские скрипты. Программы, загружаемые с сайта и выполняющиеся в брау-
зере пользователя. Наиболее распространенные языки программирования для
написания клиентских скриптов — JavaScript и VBScript.

Клик (click, переход). Переход посетителя сайта в результате щелчка на текстовой
ссылке или баннере.

Клоакинг (cloaking, маскировка) (от англ. to cloak — маскировать). Способ работы
веб-сервера, когда пользователь, приходящий на страницы сайта, видит одно со-
держимое, а поисковая машина — другое. Реализуется с помощью отслеживания
IP-адресов поисковых роботов и выдачи им другой информации. Клоакинг позво-
ляет скрыть спам, благодаря которому страница находится высоко в результатах
поиска, и выдать пристойное содержание пользователям. Обнаружение клоакинга
в большинстве случаев приводит к занесению сайта в «черный список» поисковой
системы и полному прекращению его индексации.

Конверсия. Отнесение посетителей, воспользовавшихся предлагаемой на сайте
услугой, к числу пользователей, пришедших на сайт. Рассматривается также кон-
версия посетителей в покупателей товара или услуги, то есть отнесение числа по-
сетителей сайта, воспользовавшихся предлагаемой на сайте услугой или купивших
товар, к числу всех пользователей, увидевших рекламу сайта или услуги.

Контекстная реклама (поисковая реклама). Реклама, содержание которой зависит
от запроса пользователя к поисковой системе. Так как подобная реклама показы-
вается только тем, кто целенаправленно ищет информацию на тему запроса, ее
эффективность намного выше обычной. CTR контекстной рекламы составляет в
среднем 0,5-5%, но нередко достигает и 30-40%. Подобная реклама обеспечивает
лучшую конверсию посетителей в покупателей.

Контент. Содержание страницы или сайта — текст, изображения, звуки, видео
и другие файлы.

Линк-чекер (от англ. link checker). Программа или онлайн-сервис для проверки
размещенных ссылок.

Матрикснет. Название метода машинного обучения алогоритма ранжирования
сайтов в «Яндексе». Введен на «Яндексе» с 2009 года.

Мета-теги. Специальные указания для поисковой машины, находящиеся в тексте
страниц, но не отображаемые пользователю в браузере. Чаще всего используют ме-
та-теги Keywords и Description. Первый включает список ключевых слов, которым
соответствует страница, а второй — ее краткую аннотацию. Мета-теги — устаревшая
технология, поэтому современные поисковики не придают серьезного значения
мета-тегам при ранжировании страниц.

Модератор. Пользователь или штатный сотрудник форума или чата, имеющий право
наказывать и поощрять других пользователей в местах общения в соответствии с
правилами данного сообщества и отвечающий за порядок на всем форуме (чате) или
его части. Наказание, как правило, бывает двух видов: предупреждение и отключение
(запрет пользоваться форумом/чатом). Также существуют модераторы каталогов и
поисковых машин, в задачу которых входите лежение за отсутствием в списках сайтов
порносайтов, «накрутчиков» и т. д. Существуют также модераторы почтовых систем,
основной задачей которых является борьба с почтовыми спамерами.

Мониторинг позиций (проверка видимости, снять видимость, чекер позиций). Про-
верка позиций ссылок на продвигаемый сайт в результатах поиска.

Морда (жаргонизм) — главная страница сайта.

Оптимизатор (промоутер, сеошник, SЕО-специалист). Индивидуум или компания,
занимающиеся продвижением сайта в Интернете.