какую страницу домена проверяет мониторинг сайта
Мониторинг важных страниц в Яндекс.Вебмастер: что это и как использовать?
Мониторинг важных страниц в Яндекс.Вебмастер — это функция, позволяющая постоянно отслеживать наиболее важные для сайта URL и предупреждать об их изменениях, что позволит быстро и своевременно предпринять меры по устранению ошибки.
Отслеживание важных страниц
Использовать данный инструмент можно после того, как сайт будет добавлен в Яндекс.Вебмастер. Далее необходимо перейти в раздел «Поисковые запросы»-«Мониторинг важных страниц».
После в специальном поле потребуется ввести все URL, которые необходимо отслеживать и нажимаем на кнопку «Отправить».
Важно! Максимальное количество отправляемых посадочных страниц (включая те, что уже были введены) составляет 100 шт.
В нижней части экрана можно увидеть все URL, которые в данный момент отслеживаются. Здесь можно увидеть:
Чтобы удалить ненужную страницу, достаточно навести на нее курсор и появиться специальный символ, на который потребуется нажать.
Также можно добавить одну из страниц, которую предлагает система (по количеству кликов). Здесь указан:
Особенности работы
Отправка оповещений будет доступна по указанным в «Настройка»-«Оповещения» данным.
Здесь потребуется отметить куда будут приходить оповещения о важных страницах (в Яндекс.Вебмастер или на почту).
Среди возможных вариантов доступно:
7 сервисов для мониторинга сайтов
Здравствуйте! Часто перебои в работе сайта могут привести к потере клиентов, репутации, минусам в карму и прочим неприятностям. После покупки виртуального или выделенного сервера важно вовремя получать информацию о недоступности, поэтому сегодня я хочу рассказать о нескольких сервисах мониторинга сайтов/серверов и провести их сравнение.
host-tracker.com
Бесплатный аккаунт позволяет добавить два задания с интервалом в 30 минут и накладывает некоторые ограничения. Предоставляется 30-дневный доступ к большинству платных функций.
Практически для всех типов проверок возможен выбор точек, из которых они будут производиться (11 в России, 41 в Европе, 15 в Азии, 14 в Северной Америке, 4 в Южной Америке и по 2 в Африке и Австралии).
Уведомления можно получать по электронной почте, через SMS или звонок по телефону, при помощи Skype, Hangouts, Viber, а также через HTTP запрос POST.
За 5$ в месяц проверка производится каждые 10 минут, максимальное количество заданий и контактов ограничивается пятью.
monitis.com
Бесплатный тариф позволяет производить базовый мониторинг одного сервера, каждый час отслеживать время загрузки одной страницы и запускать 5 мониторов аптайма с частотой проверки 15 минут.
Мониторы аптайма настраиваются для HTTP/HTTPS (проверяются методами GET и POST), FTP, TCP, SSH, SIP, UDP, SMTP, POP3, IMAP, SOAP, Ping, DNS, MySQL.
Есть возможность получения информации о времени загрузки страницы, действиях пользователей (Real User Monitoring).
Для мониторинга состояния сервера (получения информации о нагрузке на CPU, RAM, жесткие диски и т.д.) требуется установить специальную программу, которая работает с Debian, Ubuntu, Red Hat, SUSE, Fedora, CentOS, Windows 7/8, Windows Server 2008/2012. С помощью этой же программы можно получать данные о работе Tomcat, Java/JMX, Oracle, MySQL, Node.js.
Уведомления приходят на электронную почту, по SMS и/или телефонному звонку, в Twitter, Slack, HipChat, PagerDuty, VictorOps, OpsGenie, Jira, через HTTP запрос.
Линейка тарифов отсутствует, все функции подключаются по мере возникновения необходимости.
monitorus.ru
Доступны проверки по протоколам HTTP/HTTPS (методами HEAD и GET), FTP, POP3, SMTP, IMAP, можно проверять работоспособность баз данных, наличие DNS записей, Ping.
Для уведомлений используется электронная почта, SMS, ICQ, Jabber, можно настроить собственный скрипт, который сервис будет вызывать в случае обнаружения ошибок.
Фиксированные тарифы на данном сервисе отсутствуют, каждая проверка обойдется в 0.006 рубля. Проверка одного сайта раз в 10 минут в течение месяца будет стоить 25.92 рубля. Обещаны бесплатные E-mail и SMS уведомления.
pingup.ru
Для проверки сайтов используются HTTP методы HEAD, GET, POST. Есть возможность проверки портов, получения статистики работы утилиты Ping.
Уведомления отправляются по электронной почте, в SMS или через сервисы Push-уведомлений.
В бесплатной версии проверка осуществляется раз в час, отсутствует возможность SMS-оповещения. Профессиональная версия стоит 2$ в месяц за проверку 1 сайта раз в 15 минут.
site24x7.com
Сервис умеет отправлять запросы HTTP методами POST, GET, HEAD, искать заданные ключевые слова, проверять работу POP, SMTP, FTP, SOAP, выбранный порт, записи DNS на указанном сервере, запускать Ping, уведомлять об истечении срока действия SSL сертификата.
Для мониторинга серверов под управлением Windows, Linux, FreeBSD, OS X предлагаются специальные приложения.
Сообщения о неисправностях могут быть отправлены по электронной почте, SMS или по телефону, в Twitter, IM.
Бесплатная версия отсутствует, однако, предоставляется 30-дневный тестовый период. За 10$ в месяц доступна ежеминутная проверка 10 сайтов, 50 SMS или голосовых сообщений.
uptimerobot.com
Проверяет HTTP/HTTPS, может искать ключевое слово, может не искать, запускает Ping, проверяет заданный порт.
Оповещения можно получать через SMS, электронную почту, Twitter, HTTP запрос в формате JSON, Push-уведомления, в Hipchat или Slack.
Бесплатная версия позволяет запустить 50 мониторов с минимальным интервалом в 5 минут, профессиональный аккаунт стоит 5.5$ ежемесячно за 50 мониторов и включает ежеминутные проверки и 10 SMS уведомлений.
webopulsar.ru
Проверяются доступность по HTTP/HTTPS протоколу методами HEAD, GET, POST, записи на DNS-сервере, Ping, время загрузки страницы в браузерах IE, Chrome, Firefox.
Уведомления отправляются на электронную почту, через SMS, в Jabber или на заданный URL.
Ежедневная проверка осуществляется бесплатно. В платной версии оплата производится в зависимости от выбранного интервала и способа проверки.
Для удобства сравнения предлагаю основные данные в одной табличке (кликабельно)
Ручной мониторинг доступности сайта (обзор простых инструментов)
После покупки виртуального и/или выделенного сервера важно вовремя получать информацию о недоступности сервиса, то есть проводить мониторинг основных подсистем веб-сайта.
Надежный веб-сайт должен быть легкодоступен для пользователей 7 дней в неделю, поэтому его надо постоянно проверять как на предмет доступности, так и на предмет работоспособности:
Работа сайта в выходные/сезон отпусков
Есть задача: веб-сайт/сервер/сервис должен работать непрерывно несколько дней без человеческого вмешательства. Что может пойти не так?
Обычные сбои время от времени случаются сами по себе. Только вот ночной сбой со вторника на среду решается перезаливом с бэкапа в среду утром. А на выходных нередки сбои «с пятницы на понедельник». Сколько в таком случае может лежать сайт во время праздников, зависит от длительности отпуска ответственных сотрудников.
В целом, сайту бывает нехорошо, но в будние дни проблема решается быстро. Сколько времени заняло бы решение на майских, если бы не мониторинг? Вместо пары часов могло бы быть пару дней, и это не редкость.
Не делайте серьезных изменений кода перед длительными выходными. Необходимо тщательно протестировать систему с внесенными правками, чтобы изменения работали должным образом. Рекомендуется откладывать внесение каких-либо серьезных изменений до того момента, когда веб-сайт испытывает меньше нагрузки на трафик.
Кроме обычных проблем, сайты во время длительного отсутствия бдительных стражей любят также подхватить и другие недуги. Например, может закончиться срок действия домена или сертификата. Или надумает растолстеть база данных. Или он может угодить в списки DNSBL или Роскомнадзора.
Черные списки DNSBL
Важной функцией является проверка доменов в черных списках DNSBL (DNS blacklist или DNS blocklist) — списки хостов, хранимые с использованием системы архитектуры DNS. Обычно используются для борьбы со спамом.
Эти списки независимы и формируются каждый по своему алгоритму, из-за чего в результате случайной ошибки там может оказаться даже безобидный сайт. IP адрес из вашей подсети может использоваться в злонамеренных целях, например, спамерами или другими злоумышленниками, в результате чего вся подсеть может оказаться заблокированной в черном списке соответствующей структуры.
Чем это грозит именно вам? Письма от вас перестанут приходить клиентам, сайт станет хуже отображаться в поисковиках и так далее по нарастающей. Поэтому функция контроля и оповещения о попадании в наиболее популярные черные списки является весьма востребованной.
Каждый администратор может настроить свой веб-сервер таким образом, чтобы, например, не получать письма от серверов, перечисленных в определенном списке. Это помогает бороться со спамом, распространением вредоносного ПО, DDoS-атаками и другими проблемами.
Онлайновые черные списки DNSBL, например, antispamsniper.com или syslab.ru, позволяют фильтровать спам, используя DNS для доступа к базам спамерских IP адресов.
Для проверки наличия заданного IP адреса в черных списках введите IP адрес (ваш текущий IP адрес указывается по умолчанию) и нажмите кнопку Проверить.
Защита от DDoS-атак
Если от доступности веб-сайта зависит прибыль, то следует подготовить его к возрастающим нагрузкам (например, во время сезонных распродаж или Черной пятницы) и возможным атакам конкурентов и/или злоумышленников, которые рассчитывают на увеличение времени отклика веб-сайта на входящие запросы или на частичную/полную недоступность.
Планирование технических работ
Программное обеспечение сервера, на базе которого построен веб-сайт или иной ресурс, должно периодически обновляться.
Планирование технических работ позволяет достигнуть двух целей: не присылать оповещения об ошибках и не записывать ошибки во время определенного интервала времени в статистику. При этом проверки во время технических работ все так же идут и исправно пишутся в лог, а следовательно могут быть полезными для администраторов: лог позволяет определить, сколько именно длилось обновление или перезагрузка, какие ошибки при этом выдавались, какие проблемы при этом наблюдались и так далее.
Рекомендуется проводить плановые работы во время заметного уменьшения (редуцирования) клиентского трафика, а также во время отсутствия пиковой загрузки полосы пропускания.
Мониторинг срока действия домена и SSL-сертификата
Проблемы с продлением доменов и сертификатов возникают даже у больших компаний. Поэтому оповещение (по СМС или электронной почте), что данный домен необходимо продлить, является крайне полезным. Например, ping-admin.ru предоставляет платные услуги оповещения о результатах мониторинга.
Проверка срока действия домена
Проверить домен бесплатно можно с помощью сервиса nic.ru.
Проверить время действия домена бесплатно можно с помощью сервиса Whois Service.
Проверка срока действия SSL-сертификата
Выполните следующую команду из командной строки в Linux, чтобы узнать срок действия SSL сертификата, с помощью openssl:
Помимо срока действия, SSL сертификат содержит много интересной информации. Каждый SSL сертификат содержит информацию о том, кем он был выдан, кому он выдан, его срок действия и прочее.
Все эти данные могут быть извлечены из SSL сертификата сайта с помощью программы openssl из командной строки в Linux.
Проверить кто выдал SSL сертификат:
Проверить кому выдан SSL сертификат:
Показать всю перечисленную выше информацию об SSL сертификате одной командой:
Мониторинг доступности сайта
Для эффективной работы любого посещаемого веб-сайта необходима постоянная доступность его материалов для посетителей, а также возможность для администратора проекта иметь доступ к серверной части для внесения изменений или любых других действий.
Вы легко можете проверить доступность сайта из командной строки в Linux и получить от сервера код со статусом HTTP, с помощью таких команд как TELNET или CURL.
Доступность сайта с помощью CURL
Выполните следующую команду для проверки доступности сайта и получения сообщения со статусом от сервера:
Статус код ‘200 OK’ означает что запрос был успешно выполнен и сайт доступен.
Вот еще один пример, который показывает как curl отображает разные ответы сервера:
Также с помощью curl можно проверить доступность отдельной страницы на сайте, например:
Доступность сайта с помощью TELNET
Вы также можете проверить доступность сайта и получить сообщения со статусом от сервера с помощью команды telnet:
Вывод, означающий, что сайт доступен, будет выглядеть следующим образом:
В заключении хочется отметить, что всегда есть вариант написать свой скрипт для проверки аптайма на PHP или Perl, или можно создать телеграм-бота для рассылки уведомлений, но подсчитав дневной доход с веб-сайтов и соотнеся его со стоимостью мониторинга, чаще дешевле использовать платные сервисы типа PagerDuty.
Полезные статьи со обзорами сервисов мониторинга:
6 сервисов мониторинга сайтов для SEO-специалистов
Именно для того, чтобы отслеживать подобные обновления (помимо отлаженных коммуникаций в команде среди разработчиков и контент-менеджеров), существуют сервисы автоматического мониторинга сайтов, о которых пойдет речь в этой статье.
1. SEOSan
Веб-сервис, позволяющий отслеживать изменения на сайтах: ответ сервера, изменение тегов Title/Description, H1, rel=canonical, ответ сервера, robots.txt и так далее. Чем раньше SEO-специалист отследит подобные изменения (если они нежелательны), тем больше шансов, что они будут исправлены до того, как страницы переиндексируются поисковыми ботами. Сервис присылает ежедневный отчет об изменениях на email. Возможна проверка по требованию пользователя, помимо ежедневного обхода.
Стоимость. Есть бесплатная версия и платные (от 500 руб. в месяц) с расширенными лимитами по количеству страниц и доменов.
2. Топвизор
Самая известная функция сервиса – мониторинг позиций. Также он позволяет отслеживать изменения на сайте в важных для SEO участках кода: Title/Description и т.п. (раздел «Радар» – https://topvisor.ru/watcher/ ). Есть возможность выбрать способ уведомления (на сайте или по email) и частоту проверок (каждый день, каждую неделю), а также интересующее время обхода.
Стоимость. Рассчитывается исходя из количества различных проверок (позиции, кластеризация), платные тарифы начинаются от 999 руб. в месяц.
3. ChangeDetection.com
Один из старейших простых сервисов для мониторинга изменений на сайтах. Есть возможность добавить свой URL и посмотреть на изменение контента на странице, настроить частоту уведомлений (раз в день/неделю/месяц), указать дополнительные опции – например, уведомлять, если изменилось что-то значимое, а не просто даты на странице.
Стоимость. Сервис бесплатный, но не позволяет отслеживать изменение отдельных HTML-элементов на странице.
4. WebSvodka
Сервис позволяет отслеживать изменения на страницах (в тексте или коде) и появление новых страниц на сайте. Одна из возможностей– мониторинг появления новых страниц в поисковой выдаче по интересующим запросам. Также возможно отслеживание появления или исчезновения определенного слова или словосочетания.
Стоимость. Для платных тарифов есть возможность мониторить страницы раз в 15 минут (5 сайтов x 50 страниц). Стоимость – 240 руб. за 3 месяца.
5. Ping-Admin.Ru
Сервис позволяет отслеживать такие параметры, как:
6. Testomato
Testomato позволяет завести страницы сайта и правильное (по мнению вебмастера) значение параметра – например, ожидаемый ответ сервера (200 OK, 301 Moved Permanently с нужным Location) и отслеживать изменения.
На некоторых тарифах есть доступ через API и поддержка страниц, для доступа к которым требуется авторизация на сайте.
У сервиса есть датацентры в США, Европе и Азии.
Проверки запускаются раз в 15 минут, а аптайм сервера проверяется каждые 15 секунд.
Стоимость: Тарифы начинаются от 15$ в месяц (3 сайта по 25 URL’ов).
А какими инструментами для данных задач пользуетесь вы? Поделитесь, пожалуйста, в комментариях.
Мониторинг важных страниц в вебмастере Яндекса
Здравствуйте! В этой статья я покажу все премудрости обновленного инструмента «мониторинг важных страниц» в вебмастере Яндекса. Вас ждет наглядная инструкция, в которой будут рассмотрены все аспекты отслеживания нужных страниц. Функционал очень годный и я рекомендую его использовать по максимуму.
Мониторинг важных страниц: функционал
Возможности инструмента
Инструмент «Мониторинг важных страниц» уже давно радует вебмастеров полезным функционалом — он позволяет получать уведомления по тем страницам, которые мы хотим сопровождать из-за каких-то изменений в них.
В данном случае нас интересует, как Яндекс индексирует наши посты, заметки, статьи, отдельные страницы. Каким он видит заголовок title, описание Description, присутствуют ли отобранные документы в поисковом индексе (не путать с общим индексом).
Месяц назад данный инструмент окончательно оформился в готовый продукт анализа и проверки. В последней его версии сам Яндекс стал добавлять в список мониторинга главную страницу и некоторые ключевые документы (с точки зрения поисковика).
Поэтому пройдемся по данному инструменту еще раз, раскрывая все его возможности.
Итак, первым делом нужно выбрать вариант добавления нужных нам страниц для отслеживания. Есть два варианта:
Выбирайте тот вариант, который вам удобен. Первый более четкий, для случаев, когда вы знаете, какие документы нужно мониторить. Второй же подходит для случаев, когда списка нет, а есть только желание проверить несколько страниц.
Добавив нужные страницы, Яндекс займется отслеживанием следующих изменений на важных страницах:
Историю мониторинга каждой отслеживаемой страницы можно узнать, кликнув на иконку часиков напротив нужного нам документа:
На рисунке видно, что пи первой проверке отслеживаемая станица имела уникальный title, мета-тег Description оформлялся с взятия текста с первого абзаца, каноничность в порядке. Затем дескрипшен был обнулен вебмастером.
В последней же версии данные претерпели серьезные изменения — изменен как Description, так и создан новый title. И все это мониторилось в течение нескольких заходов Яндексом.
Здесь же в истории изменений можно сделать проверку ответа сервера (как Яндекс видит документ в плане его открытия):
А также затребовать у Яндекса переобход страницы, если вдруг данные с мониторинга еще не обновились:
Уведомления Яндекса после мониторинга
Все изменения, которые мы хотим отслеживать в Яндексе, поисковик не только фиксирует в своем инструменте, но и постоянно знакомит с ними через почтовые письма.
Для этого Яндекс вебмастер использует специальный функционал уведомлений.
Очень мощная штука, скажу я вам. Пользуюсь ею постоянно для получения различной информации по моим проектам. Держать руку на пульсе в нашем вебмастерском деле необходимо все время.
Сам список уведомлений можно получить, нажав на анкор «настройте уведомления» (смотри рисунок 1). Нас интересует в нем раздел настройки уведомлений «о важных страницах»:
Тут нам предлагают два варианта получения сообщений — или вся инфа, или выборочно. Лично я указываю отдельно те изменения, по которым я и хочу получать уведомления (значок письма).
Когда с уведомлениями и указанием нужных нам страниц для мониторинга разберемся, на почту со временем начнут приходить письма по каждому (!) из них.
Вот пример одного из таких писем, где поисковик уведомляет меня об изменении заголовка тех важных станиц, которые я указал (и на которых произошли изменения) :
А вот еще одно письмецо по поводу измененных мета-тегов Description:
В общем, уведомления — это важный атрибут данного инструмента. Не стоит его игнорировать.
Мониторинг важных страниц: использование
Итак, мы разобрались с функционалом мониторинга. Поняли, что отслеживание изменений на важных страницах — это современная работа любого вебмастера.
Теперь нужно понять, в каких случаях его стоит использовать. Разберем все возможные ситуации детально.
Планомерная работа по утвержденному контент-плану
Каждый уважающий себя вебмастер имеет для своего сайта утвержденный (не планируемый) контент-план.
Пару слов о контент-плане
Если кратко, то контент-план является слепком семантического ядра сайта (или его отдельной тематики). Речь идет именно о семантике, в которой сделана кластеризация ключевых слов.
Контент-план позволяет не только увидеть темы и примерный объем будущих страниц, но и понять последовательность их написания с учетом будущей перелинковки.
А также он незаменим, когда при большом яде планируется запуск цикла статей по теме, обзорные и тематические страницы.
И еще важный момент. Если над контентом трудится большое число копирайтеров (4 и более в штате), план позволяет сгруппировать каждому копирайтеру свой пул статей в зависимости от способностей каждого исполнителя!
Для моих учеников. Информацию по созданию и практическому использованию контента-плана Вы можете найти в «закрытом» разделе сайта. Или вспомнить мой вебинар по данной теме.
Глядя на свой план, вебмастер пишет новые статьи с уже продуманной темой и набором поисковых запросов. Значит после публикации данный новый документ необходимо «скормить» поисковику Яндекс, чтобы он его быстрее проиндексировал и отправил в поиск (в лучшем случае).
Мониторинг важных страниц здесь идет как инструмент планомерных действий. Как только Яндекс индексирует его, мы получаем соответствующее уведомление. Если зашли в поиск, опять письмецо в конверте.
Быстрая индексация нужных страниц
Бывают случаи, когда нам нужно произвести быструю индексацию каких-то документов сайта. Для этого существует много разных способов. Один из них — это использование инструмента по мониторингу.
Схема простая. Делаем нужные нам изменения в нужных статьях и отправляем их в список отслеживаемых страниц. А потом ждем уведомлений.
Кстати, этот способ быстрой индексации практически копирует инструмент вебмастера «Поверить статус URL«. Я бы сказал, что они дополняют друг друга, ведь в этом функционале показывается статус отслеживания страницы, если она включена в мониторинг:
Быстрый обход Яндекса новых внутренних ссылок
Часто бывает, что нам нужно сделать внутреннюю перелинковку для новых страниц сайта. Для этого мы ищем статьи-доноры, в котторых будут будущие линки.
Для каждой ссылки на старых документах прописываем свой уникальный анкор, фиксируем все действия в таблице для перелинковки (мой вариант таблицы и методику использования смотрите ниже):
Затем отправляем адреса старых документов (!), на которых мы поставили свежи ссылки, в мониторинг важных страниц в вебмастере. И все, ждем быстрой переиндексации.
Конечно, в плане скорости индексации для этой задачи лучше подходит инструмент «Проверить статус URL». Но на мой взгляд, пару дней мало что решит (ведь изменения после перелинковки все равно будут учтены только после очередного апдейта поисковика). Зато время экономится.
На этом мой небольшой ликбез по мониторингу важных страниц закончился. Будут вопросы, пишите в комментах к этой статье.
С уважением, Ваш Максим Довженко
== Часто задаваемые вопросы по теме (FAQ) ==
Какие параметры статьи отслеживаются в «Мониторинге важных страниц»?
Заголовок (title) и описание (Description) страницы, статус в поиске, каноничность документа.
В каких случаях используется «Мониторинг важных страниц»?
— для планомерной публикации новых станиц;
— для быстрой переиндексации документов сайта;
— для быстрой индексации новых внутренних ссылок.
Чем «Мониторинг важных страниц» отличается от инструмента «Проверить статус URL»?
Во-первых, скоростью переиднескации (проверки) страниц. В первом варианте она намного быстрее. Во-вторых, выходными мета данными проверки (они полнее в мониторинге).
Мониторинг важных страниц показывает, что станица не в поиске. Что делать?
1. Сначала проверить, проиндексирована ли страница. Если нет, ждать индексации.
2. Если спустя 2-3 суток нет индексации, проверить статус URL в Яндекс Вебмастере.
3. Если проиндексирована, проверить страницу на дублирование контента. Подробнее здесь.