Как раскрутить и разрекламировать Web-сайт в сети Интернет
Шрифт:
Если же все настройки выполнены корректно, окно CyberSpyder Link Test Setup of [test name] закроется, и откроется окно-индикатор тестирования. Тестирование
Ход проверки показан в окне, представленном на рис. 2.119.
Информация в окне постоянно изменяется, отражая динамику тестирования и его текущее состояние. Окно-индикатор содержит три раздела:
• Current URL (Нынешний адрес) – указан адрес, который в данное время проверяется;
• Processing Status (Статус выполнения) – показана операция, которая выполняется в данный момент, отражено состояние теста и время, прошедшее с его начала.
• URL Counters (Счетчики адресов) – приведены итоговые показания счетчиков для различных элементов теста.
Раздел Current URL включает в себя пять полей:
• Service (Служба) – имеется в виду протокол для адреса. В настоящее время программа поддерживает только протокол HTTP;
• Host (Главный компьютер) – имя главного компьютера (узла), которое, как правило, обозначают аббревиатурой URL. Поле может быть и не заполнено, если вместо имени узла представлен адрес IP;
• Host IP (IP-адрес узла) – IP-адрес главного компьютера (узла). Если не удастся его узнать, поле останется пустым;
• Port (Порт) – порт, через который идет проверка;
• URL (URL-адрес) – отображается адрес, тестируемый в настоящее время.
Раздел Processing Status (Статус выполнения) содержит четыре поля. В поле Current Operation (Текущая операция) программа указывает действие, которое выполняется в настоящий момент времени:
• Waiting to Start (Ожидание начала) – ожидание начала тестирования;
• Continue (Продолжить) – продолжение прерванного теста;
• Preparing to run test (Подготовка к запуску теста) – первоначальный отбор информации, необходимой для запуска теста;
• Preparing to run test – ensuring tables are clear (Подготовка к запуску теста – очистка служебных таблиц) – часть первоначальной установки, используемая для настройки нового теста;
• Preparing to run test – recording startup info (Подготовка к запуску теста – запись первоначальной информации) –
• Setting up for a Retest – please wait (Настройка повторного запуска – подождите немного) – подготовка к повторному тестированию сайта. Включает удаление или переустановку значений некоторых таблиц;
• Loading info for Incomplete Test restart (Загрузка информации для повторного запуска незавершенного теста) – восстановление информации, полученной до того, как тест был прерван;
• Stopped (Остановлен) – тест остановлен;
• Get next URL to test (Получение очередного адреса для тестирования) – поиск нетестировавшегося адреса в таблице структуры сайта;
• See if tested (Проверка, не тестировался ли) – проверка наличия результатов тестирования конкретного адреса;
• Parsing URL (Синтаксический анализ адреса) – синтаксический анализ компонентов URL-адреса: узла, порта, пути, файла;
• Get/Create Unique URL record (Получить/Создать запись для уникального адреса) – извлечение уникальной записи для данного уникального URL-адреса или, при отсутствии таковой, – ее создание;
• Checking on name anchor (Проверка на наличие поименованной ссылки) – проверяется наличие в коде HTML-страницы атрибута NAME (наименования) в тэге A (конструкция вида <A href="#" NAME = "…" > … </A>);
• See if we have the host IP (Проверка на наличие IP-адреса узла) – поиск в таблицах IP-адреса узла;
• Do DNS lookup for Host address (Поиск адреса узла по DNS) – определение IP-адреса узла по его DNS;
• Create Host/IP reference record (Создание справочной записи об узле/ Ссылка на IP-адрес) – сохранение в таблице найденного IP-адреса узла, с тем чтобы впоследствии не потребовалось снова определять его по сети;
• Check host for «robots.txt» (Проверка наличия файла robots.txt на узле) – выясняется, имеет ли узел файл robots.txt (проверка выполняется один раз для каждого узла);
• Short pause to reduce server load (Краткая пауза для уменьшения нагрузки на сервер) – при ограничении по скорости, программа будет работать с небольшими паузами, чтобы не превысить его;
• Testing the URL (Тестирование адреса) – отбор информации, необходимой для тестирования URL-адреса.
Поле Timer (Таймер) используется для отсчета времени при попытке подключения к сайту или при ожидании ответа.
В поле Retries (Попытки) отражается число попыток выполнения операций, которые могут быть повторены. Вначале устанавливается нулевое значение, которое увеличивается на единицу при каждой новой попытке.
При сканировании и нахождении программой HTML-документа заголовок поля No Document in Process (Не обрабатывается никакой документ) изменяется на Process Document: … Bytes Received (Обработка документа: получено … байт), а показания счетчика в данном поле увеличиваются по мере загрузки документа. Когда загрузка завершена, заголовок поля изменяется на Process Document: . Bytes Left (Обработка документа: осталось. байт), а значение счетчика уменьшаются по мере просмотра документа и анализа имеющихся в нем ссылок.
Поле Elapsed Time (Прошедшее время) служит для отсчета времени, прошедшего с начала тестирования. Если открыт завершенный тест, то здесь показывается общее время, затраченное на тестирование; если незаконченный – время, прошедшее от начала тестирования до его прекращения. Время отображается в формате hh: mm, где hh – часы, а mm – минуты.
Поле Status (Состояние) предназначено для фиксации текущего состояния теста и может принимать следующие значения:
• New Test (Новый тест) – создана новая тестовая база данных или открыта уже имеющаяся, но тест еще не запускался;
• Incomplete Test (Незавершенный тест) – открыта база данных частично выполненного теста;
• Starting (Запуск) – программа выполняет операции по подготовке к тестированию;
• Running (Выполнение) – идет тестирование;
• Waiting to Stop (Ожидание до остановки) – такое сообщение возникает при нажатии на кнопку Stop (Стоп), в то время, когда реально тестирование еще не прервано. Задержка обусловлена необходимостью завершить текущую операцию, чтобы сохранить состояние теста;
• Stopped (Остановлено) – полная остановка тестирования. Теперь, если требуется, тест можно закрыть, и продолжить его выполнение позднее. Эта ситуация безопасна, так как промежуточные результаты сохраняются;
• Finished (Закончено) – завершение теста;
• Completed (Завершено) – такое сообщение появляется при повторном открытии завершенного теста.
Раздел URL Counters состоит из счетчиков, показывающих:
• Left (Осталось) – количество адресов, которые должны быть еще проверены. При анализе ссылок из нового HTML-документа показания данного счетчика уменьшаются по мере проверки ссылок;
• Checked (Проверено) – число проверенных адресов;
• Unique (Уникальные) – число уникальных URL-адресов. В дополнение к адресам документов проверяемых сайтов (указанных на вкладке Start URLs в окне CyberSpyder Link Test – Setup of [test name]) данный счетчик фиксирует ссылки на документы, находящиеся на других сайтах, – внешние ссылки. В связи с этим по завершении проверки показания данного счетчика могут быть выше, чем показания Checked;
• Skipped (Пропущено) – отражает число пропущенных адресов, то есть тех, которые не тестировались. Сюда входят не только адреса, введенные при настройке тестовой базы в окне CyberSpyder Link Test – Setup of [test name] на вкладке Skip URLs (Пропустить URL-адреса), показанной на рис. 2.120, но и те, которые получены с помощью файла исключений для роботов robots.txt;
• Good (Исправные) – показывает число удачно протестированных адресов (по ссылкам найдены документы);
• Broken (Некорректные) – показывает число неудачно протестированных адресов (по ссылкам не найдены документы);
• Can\'t (Непроверенные) – показывает число адресов, которые программа не может проверить, так как для них использован не HTTP-протокол;
• Warnings (Предупреждения) – показывает число предупреждающих сообщений, например, из-за ошибок в тэгах HTML-документа.
Значения счетчиков Skipped, Good, Broken и Can\'t в сумме дают значение счетчика Checked, то есть детализируют его.
Итоговые отчетыВ главном меню программы выберите пункт Reports → Select (Отчеты → Выбрать) или щелкните по кнопке Select (Выбрать). В открывшемся окне Report Type Selector (Выбор типа отчета) установите переключатель в положение Result Reports (Итоговые отчеты) и нажмите кнопку Select. Откроется окно CyberSpyder Link Test Result Report Selector (Выбор итогового отчета), предназначенное для подготовки отчетов к полностью или частично завершенным тестам (рис. 2.121).
Здесь собраны все опции, которые имеются на вкладке Reports в окне CyberSpyder Link Test – Setup of [test name] (оно используется при открытии существующего или создании нового теста), а также предусмотрены дополнительные возможности: просмотр результатов на экране без запуска браузера и специальная настройка данных, включаемых в отчет.
В разделе Choose Format (Выбор формата) расположен трехпозиционный переключатель, с помощью которого выбирается способ вывода отчета:
• HTML – в виде HTML-документа для его просмотра в браузере;
• Printed (Печатный) – распечатка на принтере;
• On Screen (На экране) – вывод на экран в самой программе.
В разделе Select the HTML Report Directory (Выберите каталог для сохранения HTML-отчета) можно указать директорию, куда программа будет записывать отчеты, подготовленные в формате HTML. По умолчанию выбрана директория Reports, находящаяся в каталоге, где установлена программа CyberSpyder Link Test. Чтобы хранить здесь же результаты не одного, а нескольких тестов, следует воспользоваться опцией Allow multiple report sets in directory (Разрешить размещение нескольких отчетов в одном каталоге). Если этого не сделать, программа при записи нового отчета может удалить прежний, выдав, впрочем, предупреждающее сообщение.
Кнопка Select (Выбрать) предназначена для выбора каталога в обычном окне доступа к файловой системе компьютера. Очень важно, чтобы все создаваемые отчеты находились в одном каталоге: программа автоматически формирует ссылки с главной индексной страницы к различным отчетам. При создании новых или удалении имеющихся программа заново создает главную индексную страницу.
Раздел Sort by (Сортировка) используется для сортировки отчетов следующим образом:
• Page URL, showing referenced links (По адресам страниц, показывая вызываемые ссылки) – отчет отсортирован по HTML-страницам с показом содержащихся на них ссылок;
• Referenced links, showing page URLs (По вызываемым ссылкам, показывая адреса страниц) – отчет отсортирован по ссылкам с показом адреса каждой страницы, содержащей ссылку;
• By result code (По коду результата) – отчет отсортирован по коду результата, далее по ссылкам. Показан адрес каждой страницы, содержащей ссылку.
Раздел Sort by недоступен, если переключатель в разделе Choose Format установлен в положение On Screen.
Переключатель в разделе Report Grouping (Группировка отчета) используется для дополнительной структуризации отчета и может быть установлен в одно из двух положений:
• Broken, Can\'t Check, etc. separated (Некорректные, непроверенные и т. д. отдельно) – ошибки, то есть неисправные, недоступные, пропущенные ссылки, предупреждения, фиксируются обособленно: в случае подготовки отчета в формате HTML – на HTML-странице, в случае подготовки печатного отчета – на листе бумаги;
• Show all types together (Показывать все вместе) – все отчетные сведения сводятся воедино и сортируются с учетом соответствующих настроек. Это единственно возможная позиция, если переключатель в разделе Choose Format установлен в положение On Screen.
Для отбора информации, которая будет включена в отчеты, используются фильтры. Переключатель в разделе Selection (Выделение) предназначен для выбора стандартного или специального наборов фильтров:
• Standard Filters (Стандартные фильтры);
• Custom Selection (Специальный выбор).
Для настройки стандартных фильтров выберите Standard Filters, и тогда доступны следующие параметры.
Программа создает запись в отчете по каждому адресу, который она не может проверить. В некоторых случаях можно запретить создание таких записей, если в разделе Can\'t Check Filter (Фильтр для непроверенных ссылок) отметить определенные виды протоколов.
Для каждого адреса, который программа пропускает, создается запись, независимо от того, был ли такой адрес получен в соответствии с анализом файла robots.txt или был введен при настройке теста. Чтобы избежать включения в отчет подобных записей, следует в разделе Skipped Filter (Фильтр пропущенных ссылок) установить флажок No messages for skipped URLs (Без сообщений для пропущенных адресов).
Кроме того, выполняется некоторый синтаксический анализ HTML-кода. Впрочем, сообщения об ошибках в нем также можно исключить из отчета, если воспользоваться выключателем в разделе Warning Filter (Фильтр предупреждений).
Для настройки специальных фильтров в разделе Selection следует выбрать Custom Selection., а в одноименном разделе нажать кнопку Make Selection (Сделать выбор). Откроется окно Custom Selection, показанное на рис. 2.122. Оно представляет собой таблицу, куда сведены все коды, полученные в результате проверки ссылок для выполняемого теста. Таблица состоит из трех колонок: Code (Код), Type (Тип) и Description (Описание). Тип кода – это обобщенное состояние проверяемой ссылки, например: Good (Исправная), Broken (Неисправная)
Справочная система программы снабжена подробным перечнем используемых кодов с описанием на английском языке.
Осуществив все необходимые настройки в окне CyberSpyder Link Test Result Report Selector, нажмите кнопку Do Reports (Построить отчеты). Формирование отчетов сопровождается индикацией хода их построения в строке состояния (левый нижний угол главного окна программы). Закончив построение отчетов, программа закроет окно CyberSpyder Link Test Result Report Selector. Если для отчетов был выбран формат On Screen, откроется еще одно: Report for [testname] (Отчет для [имя теста]) – рис. 2.123. Здесь присутствует таблица с несколькими колонками:
• Page URL (Адрес страницы);
• Page Title (Заголовок страницы);
• Ref Type (Тип ссылки) – вида <A HREF …, или <IMG SRC …, и т. д.;
• Ref in Page (Ссылка на странице) – ссылка в том виде, как она выглядит на странице, то есть ее HTML-код;
• Expanded Reference (Развернутая ссылка) – ссылка, конвертированная в полный URL-адрес;
• Result Code (Код результата) – код результата, полученный при анализе ссылки;
• Message (Сообщение) – описание кода результата.
Если щелкнуть по одному из заголовков таблицы, то в зависимости от выбранного заголовка, отчет будет пересортирован на экране следующим образом:
• Page URL – сортировка по колонкам Page URL и Expanded Reference;
• Page Title – сортировка по колонкам Page Title, Page URL и Expanded Reference;
• Ref Type – по колонкам Reference Type, Page Title, Page URL и Expanded Reference;
• Ref in Page – по колонкам Reference in Page и Page URL;
• Expanded Reference – по колонкам Expanded Reference и Page URL;
• Result Code – по колонкам Result Code, Page URL и Expanded Reference;
• Message – по колонкам Message, Page URL и Expanded Reference.
Ширину колонок можно изменить, если указателем мыши переместить разделитель между ними (в заголовочной части) влево или вправо.
Работая с таким отчетом, можно продолжить выполнение прерванного теста, что очень удобно для предварительного ознакомления с результатами тестирования. Для этого, не закрывая окно Report for …, нажмите кнопку Continue или выберите пункт Control → Continue в главном меню программы.
Аналитические отчетыВ меню программы выберите пункт Reports → Select (Отчеты → Выбрать) или щелкните по кнопке Select (Выбрать). В открывшемся окне Report Type Selector (Выбор типа отчета) установите переключатель в положение Analysis Reports (Аналитические отчеты) и нажмите кнопку Select, после чего на экран будет выведено окно CyberSpyder Link Test Analysis Report Selector (Выбор аналитического отчета) – рис. 2.124. Оно служит для подготовки отчетов о тестах, завершенным полностью или частично. Аналитические отчеты используются для анализа структуры и содержания проверяемого узла.
Тип отчета, который будет сформирован программой, следует выбрать в разделе Choose Report (Выбор отчета) с помощью переключателя, фиксируемого в одном из следующих положений:
• Site File Structure (Файловая структура сайта) – отчет будет представлять файловую структуру сайта. Различные его уровни для наглядности помечены соответствующими пиктограммами (директории, или папки; HTML-страницы; изображения; пропущенные ссылки; неисправные ссылки; нераспознанные объекты). Данный вид подходит, например, для определения неиспользуемых файлов путем сравнения отчета с реальной файловой структурой сервера;
• Site Map (Карта сайта) – формируемый отчет аналогичен предыдущему, за исключением того, что сюда включена информация только о HTML-файлах. Таким образом, дается наглядное представление о расположении HTML-страниц на сайте;
• Page Size Analysis (Анализ размера страниц) – здесь указывается размер каждой страницы в байтах, который рассчитывается как суммарный объем текста, графики, HTML-кода и скриптов, составляющих страницу. Такой отчет используется для разработки быстро загружающихся страниц – именно они входят в состав эффективных сайтов. Стандартный расчет таков: размеры основных входных страниц, а также страниц следующего уровня не должны превышать 20 Кб, максимум – 30 Кб. Страницы, расположенные глубже, могут быть большего размера, так как логично предположить, что пользователь добрался до них не из праздного любопытства, а значит, готов дождаться полной загрузки.
Если вам не подходят указанные варианты, раздел Cross Reference Reports (Отчеты по перекрестным ссылкам) предоставляет возможность выбрать другие – отчеты, которые позволят увидеть, какие именно ссылки имеются на каждой из страниц. Учитываются как внешние, так и внутренние ссылки. Такие отчеты особенно полезны при модернизации сайта, когда изменяется расположение страниц и требуется, соответственно, изменить имеющиеся гиперссылки. Можно построить отчеты двух видов:
• By page showing links (По страницам, показывая ссылки) – выводится список всех страниц с указанием всех ссылок на каждой из них;
• By links showing pages (По ссылкам, показывая страницы) – выводится список всех ссылок с указанием для каждой ссылки всех страниц, где она размещена.
Отчеты по перекрестным ссылкам можно подстроить с помощью следующих параметров:
• HTML links only (Только HTML-ссылки) – в отчет будут включены только ссылки, указывающие на HTML-страницы;
• Suppress Result Messages (Подавлять результирующие сообщения) – неисправные ссылки обычно помечаются как недоступные (broken), и в отчет включается соответствующее сообщение. При выборе данного параметра оно не входит в отчет, а ссылки помечаются как неопознанные (unknown type);
• HREF links only (Только HREF-ссылки) – в отчете присутствуют только те ссылки, которые организованы при помощи тэга HREF.
Другие варианты, выбор которых весьма полезен при обновлении сайта, можно найти в разделе What\'s New, What\'s Old Reports (Отчеты о новом и старом). Подобные проверки позволяют обнаружить ошибочные ссылки и гарантируют корректность сайта. Кроме того, можно получить сведения о новых страницах и о тех, которые давно не изменялись. Впрочем, последнее допустимо только при повторной проверке сайта.
Отчеты такого рода зависят от информации, отправляемой Web-сервером, в частности от указанной сервером даты последнего обновления файла. При повторной проверке сайта программа CyberSpyder Link Test сравнивает дату с той, что была сохранена при предыдущей проверке. Отметим, что некоторые серверы не предоставляют данной информации. Кроме того, страницы, автоматически генерируемые по запросу с помощью CGI-скриптов, технологий ASP (Active Server Page) или SSI (Server Side Includes), всегда будут отправляться сервером как новые.
Отчеты, о которых идет речь, компонуются различными способами:
• By page showing items (По страницам, показывая элементы) – выводится список страниц с указанием всех элементов (объектов) на каждой из них;
• By items showing pages (По элементам, показывая страницы) – выводится список всех элементов (объектов), и для каждого указываются все страницы, на которых он размещен.
Формирование отчетов зависит от опции select New, Old, or Unknown (Выберите: новые, устаревшие или неопределенные):
• New or Changed items (Новые или измененные элементы): в отчет включаются элементы, по которым сервер возвратил код 200 – то есть объект найден – и дату последнего обновления. Таким образом, подразумевается либо новая ссылка, либо ссылка, измененная со времени предыдущего тестирования;
• Old or Unchanged items (Устаревшие или неизмененные элементы): включаются элементы, по которым сервер возвратил код 304 – то есть объект найден, но не изменялся;
• Unknown Status items (Элементы с неопределенным состоянием): в отчет входят элементы, по которым сервер возвратил код 200 – то есть объект найден – но не возвратил дату последнего обновления.
Рассматриваемые отчеты можно подстроить с помощью следующих параметров:
• HTML items only (Только HTML-элементы) – в отчет будут включены только ссылки, указывающие на HTML-страницы;
• HREF items only (Только HREF-элементы) – в отчете присутствуют только те ссылки, которые организованы при помощи тэга HREF;
• «Home» site only (Только свой сайт) – в отчет включены только внутренние ссылки, указывающие на свой (локальный) сайт;
• «Non-home» site only (Только не свой сайт) – в отчет будут включены только внешние ссылки, то есть указывающие не на свой сайт, что полезно для проверки этих ссылок.
Отчеты можно вывести в формате HTML или распечатать на принтере, для чего в разделе Choose Format (Выбор формата) следует установить переключатель в положение HTML или Printed (Печатный).
В разделе Select the HTML Report Directory (Выберите каталог для сохранения HTML-отчета) указывается директория, куда программа будет записывать отчеты, подготовленные в формате HTML. По умолчанию выбрана папка Reports, находящаяся в каталоге, где установлена программа CyberSpyder Link Test. Чтобы хранить здесь же результаты не одного, а нескольких тестов, следует воспользоваться выключателем Allow multiple report sets in directory (Разрешить размещение нескольких отчетов в одном каталоге). Если не сделать этого, программа при записи нового отчета удалит прежний, выдав, однако, предупреждающее сообщение.
Примеры отчетовЕсли в каталоге, предназначенном для сохранения отчетов, их содержится несколько, то программа строит индекс, который всегда записывается в файл с именем index.htm (см. рис. 2.125). Для перехода к нужному отчету используются обычные гиперссылки.
Если выбран итоговый отчет, первой страницей в нем будет Summary (Итоги) – см. рис. 2.126. Здесь приведены итоги теста и ссылки на другие страницы отчета, в том числе на индексную.
Содержание подробных отчетов теста зависит от установок, произведенных перед их построением, в частности от того, применяется ли группировка (переключатель в разделе Report Grouping для итоговых отчетов). Наличие ссылок указывает на то, что группировка использована. На рис. 2.127 показан фрагмент подобного отчета, а именно, страница Broken (Некорректные).
Фрагмент отчета о файловой структуре сайта показан на рис. 2.128. Как уже отмечалось, он содержит только ссылки на HTML-документы.
HTML Link Validator 4.21
Эта несложная программа компании Lithops Software позволяет проверить все ссылки сайта на ресурсы, доступные по протоколу HTTP. Найти дистрибутив можно по адресуа также в каталоге SoftPortal в разделе Download → Разное . Программа представляет собой полностью автоматизированную многопоточную поисковую систему, которая дает подробный отчет обо всех найденных ссылках во всех отсканированных файлах и страницах. Ее отличают быстрота работы, легкость использования и возможность тестирования неограниченного числа ссылок и файлов. Обработку можно вести как на удаленном сервере, так и на локальной машине. Кроме HTML-файлов, программа позволяет проверить закладки обозревателей Microsoft Internet Explorer, Netscape Navigator и Opera, а также связи в базе данных MS Access Database (файлы с расширением. mdb).
По завершении проверки HTML Link Validator создает список всех оттестированных файлов и ссылок, отмечая файлы с ошибками. Для правки достаточно щелкнуть по строке списка – и в соседней панели появится исходный HTML-код страницы, в котором курсор будет позиционирован на некорректной ссылке.
Для тестирования ссылок на локальном компьютере выбирается нужная папка и запускается сканирование. Программа найдет все HTML-файлы в заданной папке и во всех папках нижнего уровня, создаст их список, отметит файлы с ошибками, отобразит ссылки в удобном формате, позволяя редактировать их. Самое главное, в отличие от аналогичных программ, HTML Link Validator проверяет имена файлов с учетом регистра букв. Это важно, так как большинство серверов в Internet построены на платформе операционной системы UNIX, а она чувствительна к регистру букв в названиях файлов. Так, если файл называется image.GIF, то ссылка на image.gif будет работать на компьютере под ОС Windows и не будет – под ОС UNIX.