как в коде страницы найти почту
Веб-скрейпинг: как бесплатно спарсить и извлечь данные с сайта
Часто у вебмастера, маркетолога или SEO-специалиста возникает необходимость извлечь данные со страниц сайтов и отобразить их в удобном виде для дальнейшей обработки. Это может быть парсинг цен в интернет-магазине, получение числа лайков или извлечение содержимого отзывов с интересующих ресурсов.
По умолчанию большинство программ технического аудита сайтов собирают только содержимое заголовков H1 и H2, однако, если например, вы хотите собрать заголовки H5, то их уже нужно будет извлекать отдельно. И чтобы избежать рутинной ручной работы по парсингу и извлечению данных из HTML-кода страниц – обычно используют веб-скраперы.
Веб-скрейпинг – это автоматизированный процесс извлечения данных с интересующих страниц сайта по определенным правилам.
Возможные сферы применения веб-скрейпинга:
Основными способами веб-скрейпинга являются методы разбора данных используя XPath, CSS-селекторы, XQuery, RegExp и HTML templates.
Обычно при помощи парсинга решаются задачи, с которыми сложно справиться вручную. Это может быть веб скрейпинг описаний товаров при создании нового интернет-магазина, скрейпинг в маркетинговых исследованиях для мониторинга цен, либо для мониторинга объявлений (например, по продаже квартир). Для задач SEO-оптимизации обычно используются узко специализированные инструменты, в которых уже встроены парсеры со всеми необходимыми настройками извлечения основных SEO параметров.
Существует множество инструментов, позволяющих осуществлять скрейпинг (извлекать данные из веб-сайтов), однако большинство из них платные и громоздкие, что несколько ограничивает их доступность для массового использования.
Поэтому нами был создан простой и бесплатный инструмент – BatchURLScraper, предназначенный для сбора данных из списка URL с возможностью экспорта полученных результатов в Excel.
Интерфейс программы достаточно прост и состоит всего из 3-х вкладок:
Как узнать почту человека: инструкция по поиску email
Найти email человека может понадобиться по разным причинам:
Список можно продолжать долго. Обратите внимание на последний пункт – не стоит использовать перечисленные в этом руководстве методы для «холодной» спам-рассылки. Так вы только вызовете негатив к себе или компании, в которой вы работаете – никто не хочет иметь дело с интернет-сталкерами. Удачный пример использования этих способов – поиск email человека, у которого вы хотите взять интервью.
Устали искать контакты клиентов – нужно, чтобы они сами их оставляли. Для эффективного привлечения трафика и генерации лидов лучшее решение – комплексное продвижение.
Определились с целью расследования? Тогда вооружайтесь нашим руководством, в котором подробно описаны все рабочие способы найти email человека. Комбинируя перечисленные методы, можно найти контактную информацию даже самых скрытных пользователей.
Как найти адрес электронной почты человека
В гайде по проведению экспертного опроса уже были описаны некоторые способы найти чей-либо email, а именно: либо посмотреть раздел с контактами на корпоративном сайте, либо подписаться на рассылку эксперта и взять обратный адрес, либо составить список предполагаемых email. Сегодня мы разберем этот вопрос в деталях.
В самом начале руководства будут описаны наиболее простые способы – всегда начинайте с них. Столкнувшись с проблемой поиска email, вы обнаружите, что в половине случаев вам не понадобится и половина техник, описанных в этой статье.
Как узнать email человека вручную
Посмотреть в разделе «контакты»
Самый простой способ найти email-адрес человека – посмотреть на сайте компании, в которой он работает, в разделе с контактной информацией.
Даже если на сайте не указаны адреса всех сотрудников, напишите письмо на общую почту с просьбой передать ваше сообщение нужному человеку.
Подглядеть шаблон email у коллег
Часто бывает, что даже если вы не можете найти email необходимого человека, у вас на руках могут иметься email коллег/людей, работающих в той же компании. Например, вам нужен email человека по имени Иван Иванов, работающего в компании «Чудесные столешницы» с сайтом wondertabtops.io. У вас уже есть адреса двух его коллег: kuleshov@wondertabtops.io и vishnyakov@wondertabtops.io. Из этих email становится понятно, что для корпоративной почты используется шаблон фамилия@wondertabtops.io. С большой вероятностью можно утверждать, что необходимый email – ivanov@wondertabtops.io. При условии, что это единственный человек в компании с такой фамилией.
Посмотреть данные Whois
Если человек, email которого вы ищете, – владелец сайта, то попробуйте пробить доменное имя сайта по базе Whois. Если вам повезет, и регистрационная информация не будет закрыта, то у вас есть шанс получить email, указанный при регистрации домена. Учтите, что это не самый эффективный способ, так как:
Для проверки по Whois рекомендуется использовать несколько сервисов, т.к. для некоторых доменов верхнего уровня регистрационные данные хранятся в отдельных базах:
Если этот способ не помог, и контактная информация скрыта, то можно пойти дальше и поиграть в детектива. Иногда бывает, что один и тот же человек или компания владеют несколькими доменами, и Whois информация некоторых из них может быть открыта. Зайдите на сайт ViewDNS.info и укажите либо домен, либо IP-адрес сайта, чтобы получить список ресурсов, располагающихся на том же сервере:
Сервисы-генераторы email
Email Address Guesser
Email Address Guesser – генератор email с простым функционалом. Все, что он делает – создает список возможных адресов на основе шаблонов.
Если вы пролистаете страницу вниз, то увидите окошко со списком всех предполагаемых email, откуда вы можете скопировать их, чтобы позже проверить на работоспособность.
Email Generator
Еще один простой генератор email. Единственная особенность сервиса – можно генерировать адреса сразу для двух доменов. Просто введите имя и фамилию человека транслитом, одно или два доменных имени вида site.ru, согласитесь с условиями пользования, нажмите на кнопку Generate, и Email Generator выдаст вам список возможных email на основе шаблонов, заложенных в сервисе.
Сервис моментально выдаст вам 50+ возможных адресов, если вы ввели два домена. Обратите внимание, что некоторые из них будут адресами на Hotmail и Outlook, которые не очень популярны в России, так что в большинстве случаев их можно проигнорировать.
Важно: Email Generator всего лишь составляет возможные email из имени, фамилии и домена, а не ищет контактную информацию в интернете, так что все адреса необходимо проверить. Сам сервис предупреждает, что копировать нужно только те email, которые выглядят наиболее правдоподобно.
Таблица-генератор email
Простая таблица в Google Docs, заменяющая функционал всех сервисов-генераторов email по шаблонам. Просто введите имя и фамилию человека транслитом, а также доменное имя корпоративного сайта, и таблица выдаст 40 возможных вариантов email.
Автор таблицы – Роб Оусби, наш коллега из Distilled.Специально для вас мы перевели и немного изменили ее. Русскоязычный вариант таблицы можно найти здесь.
Чтобы воспользоваться таблицей, вам необходимо создать ее редактируемую копию. Войдите в свой аккаунт Google, и в таблице сверху выберите Файл – Создать копию. После того, как вы создадите копию, вы сможете сами редактировать таблицу и вносить в нее необходимые данные.
Name2Email
Name2Email – расширение для браузера, работающее по принципу обычного генератора email из шаблонов, но прямо в поле «получатели» в Gmail. Name2Email предназначен для работы Gmail, но если ваша почта располагается на другом сервере, то расширение все равно можно использовать для поиска необходимого адреса.
Чтобы воспользоваться Name2Email, зайдите в ваш почтовый ящик на Gmail, нажмите кнопку «Написать» и в открывшемся окне, в поле «Получатели», транслитом введите имя и фамилию человека, а также доменное имя сайта компании, в которой он работает, в следующем формате: имя фамилия @site.ru. Name2Email сгенерирует возможные варианты email и вставит их в поле адресов получателей:
Теперь работа за вами. По очереди наводите курсор на все сгенерированные email. Знаком того, что адрес действующий, является всплывающее окошко с именем и фамилией (а иногда и с фотографией) человека. Эта информация берется из профиля Google+, привязанного к адресу.
Сервисы автоматического поиска email
VoilaNorbert
VoilaNorbert – довольно известный за рубежом сервис поиска email. Просто зайдите на сайт, введите имя и фамилию человека, чей email вы ищете, транслитом и нажмите кнопку Work for me, Norbert:
Остальную работу за вас сделает «Норберт». Если поиск будет успешным, то вы тут же увидите окно с нужным email:
Email Hunter
Email Hunter – cервиc поиска email на сайте. Представлен как в виде веб-версии, так и расширения для Chrome. Просто введите доменное имя сайта компании, в которой работает человек, чей электронный адрес вы ищете, и Email Hunter просканирует сайт на наличие контактной информации, а также покажет источники найденных адресов в случае удачного поиска:
Расширение для браузера еще больше облегчает работу с сервисом. Просто установите его и, зайдя на необходимый сайт, нажмите на кнопку расширения в правом верхнем углу браузера. Сервис выдаст все email, найденные на сайте, и покажет их источники, как и в случае с веб-версией:
Чтобы проверить найденный email на работоспособность, нажмите на галочку справа от него. Это можно сделать как в веб-версии, так и в расширении:
Email Hunter произведет проверку по нескольким критериям. Если email рабочий, то вы увидите зеленую галочку и надпись Deliverable.
Не стоит всегда доверять сервису, т.к. иногда он может принять действующий адрес за нерабочий или подозрительный. Посмотрите на скриншот ниже:
Вы также можете проверить абсолютно любой email на работоспособность в веб-версии сервиса. Для этого зайдите на сайт Email Hunter и выберите вкладку Verify в правом верхнем углу:
В открывшемся окне введите в поле необходимый адрес и нажмите на кнопку со значком лупы, чтобы проверить работоспособность email. Сервис проанализирует введенный адрес и сделает вывод, является ли email действующим, а также объяснит свое заключение.
Email Hunter дает возможность в один клик найти email, ассоциируемые с сайтом, но не стоит безоговорочно верить ему. Во время написания статьи было несколько случаев, когда Email Hunter не мог найти ни одного адреса, хотя контактная информация на сайтах была доступна.
AnyMailFinder
AnyMailFinder схож по функциональности с FindAnyEmail, но с некоторыми различиями. Первое – бесплатная версия предоставляет возможность делать целых 20 запросов в день (учитываются только удачные запросы). Второе – нет отображения привязанного аккаунта Gravatar в случае удачного поиска, т.е. вам придется полностью довериться догадке сервиса, либо проверить найденный адрес с помощью сторонних сервисов, перечисленных в этой статье.
Чтобы воспользоваться AnyMailFinder, зайдите на сайт приложения, введите имя и фамилию человека, адрес сайта компании (вида site.ru) и нажмите кнопку Search.
После того, как вы нажмете кнопку, сервис начнет генерировать возможные email и проверять их работоспособность. Если поиск будет успешным, то вы почти моментально увидите следующее окно:
Email Extractor
Как становится понятно из названия, Email Extractor – программа, предназначенная для поиска email. Есть бесплатная и платная версии. Единственное различие между ними – в бесплатной версии нельзя сохранять найденные данные. Чтобы воспользоваться Email Extractor, зайдите на сайт, скачайте и установите программу.
Важно: в настройках можно изменить язык программы на русский, но мы рекомендуем использовать английскую версию интерфейса, т.к. в русской версии отсутствуют некоторые функции. Например, возможность установить глубину поиска.
Откройте Email Extractor. Если вы хотите произвести поиск email по домену, то выберите вкладку Web Site в интерфейсе программы:
Введите один или несколько необходимых доменов и выберите глубину поиска в пункте Scan Depth. От этого значения зависит то, как «глубоко» программа будет сканировать страницы. Например, если поставить Scan Depth 1, то Email Extractor просканирует только главную страницу сайта. Если 2, то главную и все страницы, на которые ссылается главная, и так далее. Максимально возможное значение – 99. Мы рекомендуем использовать его для более тщательного поиска. Это занимает гораздо больше времени, но и шанс того, что программа обнаружит необходимый email, гораздо выше.
Email Extractor начнет сканировать страницы сайта в поисках email. В зависимости от установленной глубины поиска, а также от скорости вашего соединения, это может занять довольно длительное время. После того, как поиск будет завершен, вы увидите окно с результатами:
Кроме этого, при поиске email может быть полезна функция поиска по WhoIs. Зайдите в Email Extractor и выберите вкладку Website Owners:
Введите необходимые адресы в поле Search Domains и нажмите на кнопку Start Search:
Email Extractor произведет поиск email по данным WhoIs. Если регистрационная информация указанных доменов не скрыта, то через некоторое время программа выдаст результаты:
У программы также есть функция поиска email по ключевым словам в популярных поисковых системах, но мы не стали ее упоминать, т.к. работает она очень плохо – либо выдает множество нерелевантных результатов, либо не находит email вообще:
Datanyze
Datanyze – платный сервис, выполняющий множество функций, одна из которых – поиск и проверка email. В бесплатной версии доступно всего 10 запросов. Учитываются только те запросы, после которых сервис успешно нашел работающий email. Введите домен сайта компании, в которой работает человек, в поисковое поле в левом верхнем углу, и Datanyze соберет всю доступную ему информацию о компании. Выберите вкладку People, чтобы открыть список работников компании.
Datanyze подойдет тем, кто ищет контакты зарубежных специалистов, т.к. с российскими компаниями сервис знаком очень плохо.
MailTester
MailTester выполняет всего лишь одну простую, но полезную функцию – проверяет введенный email на работоспособность. Просто введите необходимый адрес в поле на главной странице сайта MailTester и нажмите на кнопку Check address.
Не пугайтесь устаревшего дизайна сайта MailTester – это не мешает ему справляться со своей задачей.
EmailSherlock
EmailSherlock – сервис, определяющий работоспособность email, а также его привязку к аккаунтам в социальных сетях. Зайдите на сайт EmailSherlock, введите необходимый адрес в поисковое поле на главной странице и нажмите на кнопку Go. Поиск займет некоторое время, после чего вам будут показаны результаты. Если EmailSherlock нашел ассоциируемый аккаунт в Gravatar или Disqus, то предполагамый email – верный.
Поиск email должен осуществляться комплексно
В этом руководстве мы собрали способы найти email человека в сети, но не стоит ограничивать себя использованием одного выбранного инструмента. Как показала практика во время написания статья, успеха можно добиться только в том случае, если вы подходите к этой задаче комплексно, а кроме этих техник задействуете еще и смекалку. Как настоящий детектив.
Знаете еще какие-нибудь способы найти email пользователя? Поделитесь ими в комментариях.
Просмотр пароля через код элемента в браузере
В каждом существующем на текущий момент времени браузере просмотр паролей через код элемента страницы производится одинаково. Однако для этого потребуется запустить саму консоль. Существует несколько разных способов того, как это можно сделать. Более детальную информацию по этому поводу, актуальную для всех веб-обозревателей, вы можете найти в отдельной статье на нашем сайте по ссылке ниже.
После того, как с открытием консоли разработчика все стало понятно, можно переходить непосредственно к просмотру самого пароля, который изначально отмечен точками или звездочками. Разберем этот процесс на примере Google Chrome.
В завершение отметим, что в большинстве случаев выполнять подобные действия не обязательно, ведь проще будет просто войти в настройки веб-обозревателя и посмотреть там список всех сохраненных паролей, отыскав интересующий. Развернутые инструкции о том, как это осуществляется в популярных браузерах, вы найдете, кликнув по расположенной далее ссылке.
Помимо этой статьи, на сайте еще 12318 инструкций.
Добавьте сайт Lumpics.ru в закладки (CTRL+D) и мы точно еще пригодимся вам.
Отблагодарите автора, поделитесь статьей в социальных сетях.
Как найти элемент в коде
Новичку очень трудно найти нужный символ или слово в массе кода, однако это делается очень быстро и просто. Если не знаете как, то читайте дальше.
В следующей статье, мы приступим к редактированию шаблона, и нам придётся находить нужные элементы в коде темы.
Если кто-то ещё не видел, что из себя представляет код шаблона, то зайдите в Консоль — Внешний вид — Редактор.
Для полноты ощущения, можно открыть один из php файлов, которые расположены в колонке справа от поля редактора.
Только сразу отгоните мысль типа: «Я в этом до самой смерти не разберусь». Разберётесь, и я Вам в этом помогу.
Рассмотрим два варианта, в зависимости от начальных условий, нахождения нужного элемента в коде.
Условие: мы точно знаем то, что нам нужно найти.
Для примера возьмём код страницы.
Комбинация клавиш Contrl-F откроет окно поиска в правом верхнем углу, в которое можно ввести искомый элемент кода. Элемент и все его повторения подсветятся.
Этот поиск работает абсолютно для любого кода, открытого в браузере, то есть на странице.
Условие: мы видим элемент на странице, но не знаем ни его html, ни css.
В этом случае потребуется web-инспектор, или по другому Инструмент разработчика.
Инструмент разработчика есть во всех браузерах и открыть его можно или клавишей F12, или правой клавишей мыши, выбрав «Просмотреть код» или «Исследовать элемент». В разных браузерах по разному.
Главное не выбирайте «Просмотреть код страницы». Похоже, но не то.
После этого появится web-инспектор. Его интерфейс в разных браузерах немного отличается, но принцип действия везде одинаковый.
Я покажу на примере web-инспектора Chrome.
Заходим на страницу и открываем web-инспектор. По умолчанию он откроется в двух колонках, в левой будет html код всех элементов, находящихся на странице, а в правой — css оформление.
Изначально, код откроется в сложенном виде, то есть будут видны только основные элементы страницы, но если щёлкнуть по треугольничку в начале строки, то откроются все вложения, находящиеся в элементе.
И вот так, открывая вложение за вложением, можно добраться практически до любого элемента, находящегося на странице.
Определить, какой код, какому элементу соответствует, очень просто.
Надо просто вести по строкам курсором, и как только курсор оказывается на строке с кодом, так тут-же элемент, которому соответствует этот код, подсвечивается.
Теперь найдём css этого элемента. Для этого надо один раз щёлкнуть левой клавишей по строке с html, и в правой колонке отобразятся все стили, которые ему заданы, а так-же стили, влияющие на элемент, от родительских элементов.
Теперь, зная class или id элемента, можно спокойно идти в файл style.css, найти в нём нужный селектор, с помощью Поиска (Ctrl+F), и править внешний вид элемента.
Желаю творческих успехов.
Перемена
— Мам, ну почему ты думаешь, что если я была на дне рождения, то сразу пила?!
— Дочь а нечего что я папа?
Объявление в метро: «при обнаружении подозрительных предметов сделайте подозрительное лицо.
Как найти email пользователя GitHub и написать Telegram бота для решения этой задачи?
Этот пост будет полезен двум категориям людей: IT-рекрутерам и начинающим разработчикам, которые хотят научиться писать простенькие программы для решения практических задач.
Задача: известен профиль пользователя на GitHub, необходимо найти email этого пользователя
Идея написать бота пришла ко мне после того, как коллега поделилась со мной способом, которым эту задачу решают IT-рекрутеры:
1. Нужно ввести в адресную строку https://api.github.com/users/ник жертвы/events/public и открыть страницу
2. Нажать Ctrl+F и найти все символы «@»
3. Отсмотреть результаты и найти всё, что похоже на адрес электронной почты
На тот момент я ещё не знал о существовании EmailOnGitHub в Chrome Store и принялся писать бота на Python:
Предполагается, что пользователь будет отправлять боту только ники людей на гитхаб, а наш бот, в свою очередь, отправляет любое входящее сообщение в функцию email_finder.
Эта функция должна возвращать либо электронную почту цели, либо ошибку. Приступим к написанию функции:
Основная часть готова. Остаётся добавить следующие строки:
Наш бот для поиска почты готов, можно запускать и пользоваться. Пробная версия доступна по адресу @GitSorcerBot
Если пользователь публиковал коммиты и оставлял свою почту, бот выведет результат: