#5: Маленькие помощники сайтостроителя. От тестирования ссылок к поисковой оптимизации

Анна Сергеева. Маленькие помощники сайтостроителя. От тестирования ссылок к поисковой оптимизации // Системный администратор. 2014. № 4. c 65-96.

Как сохранять уверенность в работоспособности всех ссылок разрабатываемого сайта или крупной электронной документации? Советуем отказаться от ручного тестирования и сделать первые шаги к поисковой оптимизации.

Опубликовано в разделе "Разработка/Поисковая оптимизация"

Эта же статья на сайте журнала

«Почему поисковик не находит мой сайт?» – вот, пожалуй, один из самых часто задаваемых вопросов по теме. Да уж, любому, кто денно и нощно трудился над созданием своего сайта, очень хочется обнаружить его в первых строках, но этого отчего-то не происходит.

Разумеется, решение проблемы есть, и многие его с успехом используют. Эксперты по продвижению сайтов в сети советуют не пренебрегать поисковой оптимизацией [1]. Для этого они предлагают применять различные методы: настраивать атрибуты тэгов на страницах, улучшать навигацию, регулярно выполнять тестирование ссылок, наконец. Вот об этом и пойдет речь.

В эпоху стремительно захлестнувшего нас постмодерна мы все основательно и бесповоротно поселились в Интернете [2] и целыми днями, переходя с сайта на сайт, кликая по всевозможным линкам, баннерам и иконкам, роясь в результатах, выдаваемых поисковыми системами, уже привычно решаем в сети тысячи всевозможных вопросов. Одни бронируют авиабилеты и номера в отелях, другие заказывают на дом продукты, медикаменты и всевозможную мобильную и бытовую технику, кто-то зарабатывает через Интернет деньги, а кто-то безудержно их тут тратит, благо обилие онлайн-магазинов к этому так и подталкивает...

И все это происходит с неимоверной скоростью: буквально каждый день создается, модифицируется и удаляется бессчетное количество сайтов – от отдельных небольших страниц до огромных сложных порталов.

Подобный «круговорот жизни» сетевых ресурсов так или иначе имеет один весьма неприятный побочный эффект: в какой-то момент становятся неактуальными многие гиперссылки, которые еще вчера служили верой и правдой и вели к интересующей информации.

Разумеется, разработчикам и администраторам сайтов все это доставляет очень серьезное неудобство. Только вчера глубокой ночью закончили править код новой страницы, легли заслужено спать, раз, и пожалуйста – на утро уже добрая половина ссылок на этом сайте попросту не работает!

У посетителя такой страницы алгоритм поведения следующий: от легкого раздражения и поминания недобрым словом ее создателя до полного игнорирования этого сайта в будущем и быстрого и тихого ухода к конкуренту, у которого все исправно работает.

А вот здесь уже заказчики сайта могут быть очень и очень недовольны. Одна за другой поисковые системы перестают находить сайт, посещаемость снижается, продажи падают, прибыли нет. Бизнес – в трубу. Если сайт не оправдывает вложенных денег, то кто же станет козлом отпущения?

Но, погодите, разве так уж сильно виноват разработчик сайта? Разве в состоянии он отследить и проверить работоспособность сотен гиперссылок на всех страницах? Задача-то, прямо скажем, непосильная.

Или вот такой сюжет. Для какого-либо масштабного и амбициозного проекта слаженная бригада технических писателей трудится день и ночь над созданием крупного электронного документа. Это может быть руководство пользователя, детальная спецификация или иной сопроводительный документ. Как правило, при грамотном подходе подобный контент изобилует массой как внутренних, так и внешних ссылок.

Не стоит недооценивать тот факт, что начинается создание такого файла, как правило, еще на ранних стадиях работы. И в дальнейшем при постоянно изменяющихся требованиях к проекту документация также подвергается многочисленным правкам. Да и к тому же не забудем, что выполняют эти правки несколько специалистов, у каждого из которых свой стиль работы и, разумеется, свое представление о прекрасном.

В результате готовый электронный документ попадает в службу обеспечения качества (QA) и подвергается тщательному анализу. Разумеется, одно дело прочитать текст и просмотреть иллюстрации на предмет соответствия действительной реализации продукта. Но кто, скажите честно, возьмет на себя труд покликать несколько сотен ссылок вручную и убедиться в их корректности? А если обнаружатся ошибки (а многолетний опыт подсказывает, что они неизбежно будут), документ вернется на доработку, а потом обратно в тестирование, и надо проверять все заново, еще и еще раз... Рабочих ресурсов и времени уйдет слишком много, а это для каждого разрабатываемого проекта ценится на вес золота.

Как заинтересованное лицо автор заявляет: «Давайте хоть немного разгрузим сортировщиков и переложим ответственность за корректность ссылок в документации на тех, кто ее разрабатывает. Да и к тому же, согласитесь, самому техническому писателю будет гораздо приятнее выдавать корректно оформленную документацию, чем потом бесконечно править свои же досадные опечатки...» Но как же добиться, чтобы технические писатели сами проверяли свою работу? И как убедиться, что эта работа действительно проделана?

Разумеется, можно воспользоваться собственными навыками программирования и написать небольшой и удобный скрипт. Автор в принципе готов навскидку за пару минут сформулировать алгоритм такого скрипта, а уж выбор языка программирования – это дело вкуса. Однако рассмотрим готовые варианты.

Существует целый ряд инструментов, решающих задачу автоматизированного тестирования ссылок на сайтах и в документах. Как правило, в их названии фигурирует что-то наподобие Link Checker. Например, Fast Link Checker, Broken Link Checker, Site Link Checker и многие другие.

Все они выполняют примерно одни и те же функции, зачастую различаясь только интерфейсом и стоимостью. Рассмотрим наиболее популярные из них.

Fast Link Checker

Утилита Fast Link Checker (рис. 1) доступна на сайте [4].

Рис. 1. Тестирование ссылок с помощью утилиты Fast Link Checker

Для проверки сайта или документа на наличие нерабочих гиперссылок, для Fast Link Checker необходимо указать файл, с которого начнется проверка. Далее, действуя по принципу роботов поисковых машин (таких как Googlebot, WISENutbot, Alexa, MSNBot и т. д.), утилита поочередно обходит все страницы, на которые нашла ссылки в данном файле.

Для каждой найденной нерабочей ссылки Fast Link Checker добавляет запись в лог о местоположении ссылки и о причине ошибки, также предоставляет совет по устранению этой причины.

Гибкая система управления Fast Link Checker дает возможность проверять ссылки на различные объекты: скрипты, рисунки, документы, другие файлы. Также настраивается глубина поиска: можно проверять ссылки только на конкретной странице или же задать уровень вложенности директорий.

LinkChecker

LinkChecker – это еще одна утилита для обнаружения нерабочих ссылок [5]. LinkChecker работает через GUI интерфейс (рис.2), веб-интерфейс, а также и из командной строки (рис.3).

Рис. 2. Обнаружение нерабочих ссылок с помощью утилиты Link Checker через GUI-интефейс

Рис. 3. Обнаружение нерабочих ссылок с помощью утилиты Link Checker из командной строки

Набор функций утилиты LinkChecker не сильно отличается от аналогов.

• Осуществляется проверка различных типов ссылок (http, https, mailto:, ftp, news:, Telnet, nntp:, и ссылки на локальные файлы).

• Доступна работа в режиме рекурсии или в многопотоковом режиме.

• Настройка фильтров для проверяемых URL ссылок с помощью регулярных выражений.

• Поддерживаются coockie, HTML5, а также авторизация пользователя по протоколам HTTP, FTP, Telnet.

• Можно создавать отчеты в различных форматах: текст, HTML, XML, SQL, CSV.

Broken Link Checker

Этот плагин [6] приступает к работе непосредственно после установки и активации на сайте. Broken Link Checker функционирует в фоновом режиме, при этом нагрузка на сервер практически отсутствует. Плагин постоянно сканирует содержимое сайта и выдает информацию о неработающих ссылках (рис.4).

Рис. 4. Результаты работы утилиты Broken Link Checker

Для обнаруженных ошибок доступно несколько вариантов исправления:

• редактировать URL ссылки,

• отключить ссылку, оставив текст или объект,

• скрыть данную ошибку в результатах.

Таким образом, нет необходимости вспоминать о тестировании и время от времени запускать что-либо вручную. Broken Link Checker автоматически запускает тестирование, сам напоминает об ошибках, а их правки можно удобно и своевременно выполнять прямо в форме данного плагина.

Xenu's Link Sleuth

Еще на этапе работы над данной статьей автору неоднократно поступали вопросы о данном приложении, поэтому просто невозможно не уделить должного внимания Xenu's Link Sleuth.

Изначально программа создавалась именно как инструмент для поиска неработающих ссылок на сайтах и заслужила популярность в определенных кругах. В дальнейшем она получила серьезное развитие и на сегодняшний день позиционируется как один из самых полезных инструментов поисковой оптимизации (SEO). [7] Также в пользу Xenu's Link Sleuth говорит простота в настройке и в использовании этой программы.

Xenu's Link Sleuth в полной мере справляется с внутренним аудитом структуры сайта, обнаруживая в ней возможные слабые места. А ведь не стоит забывать о том, что именно это является первым шагом к оптимизации, без которой, как известно, продвижение сайта в интернет попросту не представляется возможным.

Рассмотрим главные задачи, решаемые программой Xenu's Link Sleuth.

• Поиск неработающих ссылок на сайте

Основная и первоочередная задача программы. Позволяет в автоматическим режиме отслеживать работоспособность всех возможных ссылок, использованных на данном ресурсе.

• Поиск страниц с большим временем отклика

Проведение анализа причин, по которым те или иные страницы сайта возвращаются со значительной задержкой, позволяет провести оптимизацию времени отклика. Это, несомненно, будет положительно отмечено посетителями сайта, а также будет положительно учитываться поисковыми системами.

• Составление карты сайта

Конечно же, для динамических сайтов составление карты проблемой вовсе не является. А вот для их статических «коллег» создание карты вручную будет весьма трудоемким и займет уйму времени. Xenu's Link Sleuth же автоматически составит карту сайта всего за несколько считанных минут.

• Поиск страниц с большим уровнем вложенности

Как рекомендуют специалисты в сайтостроении, по возможности, не стоит располагать страницы сайта далее, чем в паре-тройке кликов от главной. Потому как чем дальше размещена страница, тем труднее добраться до нее, причем как пользователям, так и роботам поисковых систем. И если уж какие-либо особо важные страницы оказались «закопанными» очень глубоко, то стоит позаботиться об улучшении навигации, приняв соответствующие меры. Также в результате такой проверки можно обнаружить, что определенные дальние страницы более вовсе и не нужны.

• Нахождение неуникальных атрибутов title

Правила работы поисковых систем диктуют, что все атрибуты title на странице должны быть уникальными. Именно в таком случае ни одна из страниц не будет попадать в дополнительные результаты поиска и не будет отфильтрована как дублика. Вот почему при проведении поисковой оптимизации важно быть в курсе, на каких станицах сайта повторяются атрибуты title.

• Обнаружение страниц с наибольшим числом исходящих ссылок

Поскольку ни один сайт или электронный документ не существует в полной изоляции от внешней среды, все исходящие гиперссылки в нем должны быть регулярно и тщательно модерированы. Ведь от них во многом зависит, заслужит ли сайт доверие поисковых систем, а также то, какие фильтры будут присвоены сайту. Так, если наблюдается внезапное падение позиций в результатах, выдаваемых поисковыми системами, то в первую очередь нужно проверить, куда ведут все исходящие гиперссылки, поскольку, возможно, к данному ресурсу приложили руку хакеры, разместив на нем свои спам-ссылки.

• Нахождение картинок без атрибута alt

При оптимизации целого сайта или его отдельных страниц под определенные поисковые запросы особое внимание следует уделять заданию атрибута alt. Позиции сайта в поиске будут значительно улучшены , если добавить описание к важным изображениям на сайте. Также это положительно скажется на результатах поиска по изображениям.

Программа Xenu's Link Sleuth предоставляет большое количество настроек отчета о тестировании ссылок (рис. 5). Все они доступны в меню «Options > Preferences».

Рис. 5. Настройки отчета о тестировании ссылок в программе Xenu's Link Sleuth

Parallel threads — задается число параллельных запросов.
Apply to all jobs — дает возможность сохранять текущие настройки для всех последующих проектов.

Также устанавливаются опции для включения того или иного содержимого в отчет:
Broken links, ordered by links — Сломанные ссылки, упорядоченные по адресам;
Broken links, ordered by page — Сломанные ссылки, упорядоченные по страницам;
Broken local links — Сломанные внутренние ссылки;
Redirected URLs — Адреса с редиректом 301/302;
Ftp and gopher URLs — Адреса, отличные от http, плюс ftp-адреса;
Valid text URLs — Перечень работающих текстовых ссылок;
Site Map — Карта сайта;
Statistics — Статистика;

Orphan files – Список файлов-сирот (страниц, на которые не ссылается ни одна из страниц данного сайта или электронного документы). Это случается, когда с сайта сама страница уже удалена, а относящиеся к ней файлы, замусоривающие сервер, остались.

После окончания проверки всех ссылок сайта, программа Xenu's Link Sleuth выдаст отчет о выполненной работе. Главное окно программы (рис. 6) будет содержать детальную таблицу с результатами.

Рис. 6. Отчет о тестировании ссылок в программе Xenu's Link Sleuth

Для удобства восприятия, данные могут быть отсортированы по любому из столбцов (адрес гиперссылки, статус при возврате, тип mime-объекта, его размер, значение заголовка, число уровней вложенности, количество внутренних внешних ссылок, время возврата страницы).

Далее, при внимательном разборе данных, приведенных в этой таблице, можно обнаружить ряд моментов, которые требуют той или иной корректировки.

Добавим, что также в программе есть удобная функция экспорта отчета о тестировании ссылок в текстовый файл.

Заключение

Своевременное использование таких небольших утилит и плагинов, как Fast Link Checker, LinkChecker или Broken Link Checker, помогает разработчику сайтов и крупных электронных документов постоянно поддерживать их в рабочей форме. Применение чуть более серьезных, но от того не менее удобных и быстрых программ, таких как Xenu's Link Sleuth, дает также дополнительную возможность сделать первые шаги к поисковой оптимизации, что поможет в продвижении сайтов и, разумеется, повышении их привлекательности для посетителей.

Ключевые слова:

Тестирование ссылок, поисковая оптимизация, SEO Link Checker, Fast Link Checker, Brocken Link Checker, Xenu, Xenu's Link Sleuth.

Литература

[1] Советы по поисковой оптимизации — http://help.yandex.ru/webmaster/service/what-is-webmaster.xml

[2] Об эпохе постмодерна — Adorno T., Horkheimer M. Dialectic of Enlightenment. // Stanford University Press, Trans. By Jephcott E, 2002. - 282 p.

[3] Сергеева А. Видеорекордер CamStudio в руках тестировщика. Применение видеофайлов на этапе разработки и отладки ПО (с последующим созданием видеоинструкций) // Системный администратор. 2014. № 3.

[4] Сайт утилиты Fast Link Checker — http://www.fastlinkchecker.com/

[5] Сайт утилиты LinkChecker – http://wummel.github.io/linkchecker/

[6] Страница плагина Broken Link Checker — http://wordpress.org/plugins/broken-link-checker/

[7] Сайт программы Xenu's Link Sleuth – http://home.snafu.de/tilman/xenulink.html