Проверить ip, email, домен в черных списках

Почему письма умирают в папке со спамом: краткий ликбез

Несмотря на то, что в блоге есть достаточно материалов о том, кто и когда попадает в спам, мы кратко снова повторим изученное:

• Спам – это массовые рекламные рассылки, отправленные без получения предварительного согласия. Они попадают к тем, кто вовсе не планировал их получать. Главная задача спама – раздражать и формировать желание убивать. 

• Чтобы вы не квалифицировались, как спам, пользователь должен ЛИЧНО дать одобрение на получение рассылки. 

• Не стоит забывать про так называемые SPAM-фильтры, так как они тоже участвуют в принятии решения, попадёт ли рассылка в «спамную» папку. 

Остановимся на фильтрах. Это алгоритмы крупных почтовых провайдеров, которые самостоятельно оценивают несколько показателей:

1. Контент рассылки. Попробуйте проанализировать, как это делают фильтры, миллионы текстов, и вы точно научитесь распознавать спамеров. Умный алгоритм оценивает текст, верстку, дизайн. Позаботьтесь о том, чтобы исключить стоп-слова и сделать аккуратную верстку письма.

2. Репутация. Если вы уже попадались на том, что шалили и рассылали спам, то скорее всего ваши письма обречены на «кармическую» отправку в спам. Про репутацию можно прочитать ТУТ.

3. База и ее качество. Если у вас в списке адресов много «мертвых душ», вы рискуете попасться в спам-ловушки. Если вы попались, значит, вы ведете рассылку без согласия подписчиков, а это уже бесплатный билет в страну под названием “Спам”. 

4. Находитесь в каком-то черном списке? Сделайте все, чтобы оттуда выбраться быстрее, а мы уже говорили о том, как этого добиться – ТУТ! 

Сейчас настало время – получить на руки перечень удобных онлайн-сервисов, помогающих понять, попадают ли ваши письма в папку со спамом.

Как проверить, не угодил ли почтовый сервер в черные списки

У каждого блэклиста есть свой сайт с поиском по базе. Некоторые сервисы продают доступ. Но популярные черные списки — бесплатные. Проверьте свой IP-адрес или домен в Spamhaus и URIBL. Для начала этого будет достаточно. Введите свой адрес — блэклист сразу выдаст результаты проверки. Зеленый цвет означает отсутствие в блэклисте, а красный покажет, в каком списке находится ваш адрес и что нужно сделать для его удаления.

Если есть права администратора на домене, загляните в логи отправки. Это ответ сервера, который принял письмо. Если адрес в блэклисте, вы увидите это в логах. Там будет ссылка на черный список.

Если не хотите возиться с проверкой по каждому блэклисту, запускайте сервисы проверок — MxToolBox или Mail-tester. Они проверят ваш адрес по 100 чёрным спискам.

FindThatLead

Краткий обзор

Мы отметили следующие нюансы:

+ Достаточно высокое качество проверки адресов.

— Сложный процесс регистрации. Вы не можете создать аккаунт, используя бесплатный адрес. Мы также столкнулись с другой проблемой: нам не пришло письмо со ссылкой для подтверждения регистрации, а техподдержка не отвечала около двух недель.

— Невозможно купить менее 5000 кредитов.

— Импорт файлов доступен только в CSV-формате, причем сервис потерял по одному адресу из каждого списка при их загрузке.

— Массовая проверка емейл длится довольно долго.

— Кредиты взимаются за проверку всех контактов.

— Вы не можете узнать результаты валидации на странице сервиса. Их можно только скачать списком. То есть, если вам нужны только валидные ящики, сперва надо отсортировать загруженный список по статусу, и это неудобно. Хотелось бы, чтобы список с адресами каждого статуса можно было скачивать отдельно.

Результаты теста

Список валидных адресов:

• Сервис распознал валидные как валидные ― 496
• Сомнительные — 101
• Ошибочно распознал валидные электронные адреса как невалидные ― 4
• 1 email-адрес был утерян при импорте списка

Список невалидных адресов:

• Сервис распознал невалидные как невалидные — 493
• Сомнительные — 103
• Ошибочно распознал невалидные как валидные — 3
• 1 email-адрес был утерян при импорте списка

Скачанный файл с проверенными контактами выглядит так:

Наша оценка

Результаты проверки неплохие, но множество мелких неудобств портят впечатление. Решающим фактором для нас стал список электронных адресов, который не был отсортирован. Кроме того, этот верифайер не позволяет управлять пользовательским проспект-листом, несмотря на то, что тут есть инструмент для массовых рассылок.

Да, FindThatLead показал достойные результаты тестирования, но мы, все же, рекомендуем подумать дважды, стоит ли этот сервис вашего времени или лучше выбрать аналогичную платформу, с которой проще работать.

Наша оценка ― 3,9 балла.

Как почтовые сервисы определяют репутацию отправителя

У каждого почтового провайдера свои критерии для оценки, но можно выделить четыре параметра, которые влияют на репутацию:

• Качество базы подписчиков — активные адреса без ботов, спам-ловушек, недействительных аккаунтов и пользователей, которые не соглашались на рассылку. Покупка или парсинг базы исключены.
• Содержание письма — тексты, изображения, верстка, дизайн.
• Процент отписок и жалоб.
• Настройки аутентификации IP или домена.

Последний параметр — технический. Для подтверждения репутации нужно указать служебные записи DMARC, SPF, DKIM. Они отвечают за идентификацию отправителя и служат в качестве цифрового паспорта. Сервис «Почта для домена» от Mail.ru для бизнеса помогает с настройками рассылки. В момент подключения домена пользователю расскажут, какие параметры нужно указать. Сервис проверит работу домена и предупредит об ошибках.

Необязательные GET параметры:

• ip — ip адрес для проверки (IPv4 или IPv6 в стандартном текстовом виде виде)

• email — email адрес для проверки (Результат выдается за последние 6 месяцев)

• date — дата в формате YYYY-MM-DD, используется при необходимости указания конкретного дня, за который требуется подсчитать статистику (только для IP адресов.)
• email_<SHA256> — хэш SHA256 адреса email
• ip4_<SHA256>- хэш SHA256 адреса IPv4
• ip6_<SHA256>- хэш SHA256 адреса IPv6

Пример запроса c IP:

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&email=stop_email@example.com&ip=127.0.0.1

Пример запроса c date:

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&ip=127.0.0.1&date=2017-01-31

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&email=email_08c2495014d7f072fbe0bc10a909fa9dca83c17f2452b93afbfef6fe7c663631

Пример с хэшем адреса IP v4:

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=12345&ip=ip4_f46604ded89bbd0e8e478172a9a650f4825a763053ad2e3582c8286864ec4074

Как ваш IP-адрес мог оказаться в чёрном списке?

Может случиться так, что в какой-то момент ваш IP-адрес окажется в чёрном списке одного или нескольких интернет-сервисов. Как такое могло произойти? Скорее всего, раньше с этого адреса осуществлялась массовая рассылка. Но это не единственная причина попадания в Blacklist.

Ваш адрес могут внести в чёрный список, если:

• На вашем компьютере наблюдается вирусная активность. Проверить ПК на наличие вирусов можно с помощью бесплатных антивирусных программ Avast antivirus, Avira Antivirus или любого другого инструмента.
• Ваш провайдер ограничил активность динамически выдаваемых IP-адресов своих клиентов. В этом случае нужно связаться с провайдером и сделать запрос на использование SMTP сервера.
• Компьютер с этим адресом не имеет защиты от атак, то есть стало известно об уязвимости вашего ПК, позволяющей преступникам контролировать его и использовать в своих целях.

Как скачать базу данных спам IP и Email адресов от CleanTalk

• Offline Database. Около 10 000 IP и 9 000 емайлов ежедневно. Спам-записи с частотой >= 200.
• Offline Database. Около 13 000 IP и 11 000 емайлов ежедневно. Спам-записи с частотой >= 150.
• Offline Database. Около 20 000 IP и 13 000 емайлов ежедневно. Спам-записи с частотой >= 100.
• Offline Database. Около 93 000 IP и 100 000 емайлов ежедневно. Все спам-записи.

При покупке пакета BlackList API вам доступна возможность скачать соответствующий файл Offline BlackList Database.Прейдите на страницу прайсу чтобы узнать стоимость пакета.Чтобы получить доступ для скачивания, вам необходимо зарегистрировать аккаунт, на страницы оплаты выбрать необходимый уровень доступа и оплатить пакет. На странице панели управления BlackList API вам будет предоставлен доступ на SFTP сервер с вашими персональными логином и паролем. Данные обновляются раз в час.

• Вы можете скачать базу данных черных списков IP и Email адресов в двух форматах CSV и IPSet.
• CSV формат предоставляет дополнительные данные о спам активности, даты обновления, спам активности сети и AC.
• IPSet формат предоставляет возможность автоматизировать добавления спам IP адресов в Iptables или FirewallD.

Предоставляемая Правообладателем лицензия на Программу используется только Пользователем и не подлежит передаче третьим лицам или публикация любых данных полученных от сервиса CleanTalk без предварительного письменного согласия Правообладателя.

Присоединиться

How Does the CleanTalk Database of Spam IP & Email Work

Information about blacklisted records is very accurate as data of spam activity were received from different websites simultaneously.

Чем это полезно для хостинг компаний

Хостинг компании мониторят активность сайтов клиента на рассылку емейл спама, но не все хостинги мониторят рассылку спама на другие веб сайты, это спам в виде комментариев, постов, сообщений через контактные формы на других сайтах. В случае рассылки спама на другие веб сайты, могут быть две причины по которым это происходит:

1. Сервер был куплен спамерами для рассылки сапама.
2. Сайт клиента или сервер имеют вредоносное ПО, через которое спамеры рассылают спам.

Это достаточно трудно обнаружить, так как надо мониторить все исходящие POST и GET запросы с сайта/сервера и разбирать их, чтобы понять, был это спам или работа веб приложения.

Как проще всего обнаружить спам активность на веб сайте/сервере? Проверить IP адреса в черных списках.

Чем это полезно для сервисов емейл маркетинга

Клиенты предоставляют списки емейл адресов своих клиентов, которые подписались на их рассылки, но среди этих подписок есть и подписки сделанные спамерами. Спамеры при этом часто используют базы данных емейл адресов реальных пользователей или емейлы которых не существует. Компания не проверившая емейлы из списка, рискует тем, что IP адреса будут добавлены в различные черные списки или письма начнут попадать в папку спам. Что вы можете сделать, проверить списки емейл адресов в нашей базе данных и если емейл имел спам активность, то вероятность что эта подписка на рассылку была спамом, очень большая и этот емейл стоит удалить из рассылки.

Вот как мы поступили

После этого мы сгенерировали еще один список, содержащий только невалидные адреса. Каким образом? Мы просто добавили одно дополнительное слово перед символом @ ко всем контактам из прошлого списка. Например, действительный электронный адрес johndoe@telablu.com мог превратиться в недействительный johndoedarina@telablu.com.

Тестирование инструментов проходило по таким критериям как:

• Простота использования (легкая регистрация, возможность проверить сервис перед оплатой)
• Функционал в сравнении с конкурентами
• Точность результатов
• Прайсинг и соотношение цена / качество

Обратите внимание: некоторые платформы предлагают расширенную классификацию статусов неверифицируемых (или catch-all) адресов, о чем они пишут в своих базах знаний. Вот почему мы решили включить эти статусы в обзоры услуг, но в инфографике, для вашего удобства, электронная почта будет сгруппирована по трем статусам:

• Валидный
• Неверифицируемый
• Невалидный

Поехали!

Как вести рассылку без СПАМа

Давайте начнем с главного, а точнее с рассылки. То что своя база имеет доминирующее значение в Вашем Интернет-Бизнесе — это бесспорно. Также, базы авторов чужих рассылок могут принести хороший доход, при условии что это качественная рассылка и автор все ведет грамотно.

К тому же, сейчас очень много авторов рассылок, которые просто продают рекламу в своей рассылке за деньги. Но многие базы сейчас практически мертвые и никто не хочет, не может или не знает как все исправить.

Правильно — зачем что-то делать, если можно просто продавать рекламу в мертвых базах, получать за это деньги и чувствовать себя замечательно. Но это не верный подход, который приведет в конечном итоге в никуда.

Ведь мало кто даже подозревает, почему его рассылка попадает в спам, имеет плохую открываемость и кликабельность. А ведь здесь все просто, домен с которого идет рассылка может быть просто в черных списках по IP-адресу сайта. И это только один из возможных вариантов, о котором мы сегодня поговорим.

А теперь представьте себе, что Вы или автор рассылки устранит ошибки. Его рассылка будет более активно открываться и приносить больше денег. Если Вы автор, то Вы зарабатываете больше в рассылке которая активно открывается и читается.

Если Вы продаете рекламу в качественной рассылке, то Вы можете также ставить более высокую цену и все будут довольны, и Вы и рекламодатель. В общем, преимуществ масса и долго я не буду об этом, итак все понятно.

Четыре популярных блэклиста

• Spamhaus. Им пользуются все почтовые сервисы. Алгоритмы черного списка проверяют свою базу и добавляют в нее домены, попавшиеся на нарушениях. Техническая поддержка работает оперативно. В службе вы можете уточнить, почему оказались в блэклисте. Если сообщить о решении проблемы, техподдержка быстро уберет домен из своей базы.
• Spamcop. Вырос до сервиса жалоб. Пользователь сообщает о подозрительной рассылке. Сервис проверяет ее, добавляет в блэклист, если это спам, и уведомляет отправителя о санкциях.
• SORBS. Популярный блэклист среди компаний — основные почтовые службы его не смотрят. В сервисе много спам-ловушек, которые часто приводят в черный список новые домены. Дружелюбная техподдержка поможет исправить проблему и потом удалит адрес из блэклиста.
• URIBL. Предлагает суровые условия — несколько попаданий в блэклист, и ваш домен останется там навсегда. Выбраться будет очень тяжело. Но и попадают туда только за явные нарушения, поэтому URIBL ценится среди почтовых провайдеров.

Как удалить IP из черного списка

Нажмите на эту ссылку, и на открывшейся странице нажмите кнопку «Remove an IP…»:

Поставьте галочку на пункте «Я прочел и понял эту страницу»:

Теперь вы увидите форму для удаления адреса из черного списка. Введите по очереди:

• IP Address to remove — IP адрес, который надо удалить из черного списка
• Your Email Address — Ваш адрес электронной почты
• This IP is in Country — Страна к которой относится IP адрес
• This IP Address is — Тип IP адреса (Dinamic — Динамический, Static — Статический)
• This IP Belongs to — К чему принадлежит IP адрес (A Personal computer — К персональному компьютеру, A Mail server — К серверу почты).

Если вам необходимо удалить IP-адрес домена, введите по очереди: IP-адрес, свою страну, электронный адрес домена

Важно: этот адрес должен иметь такой же домен, что и удаляемый сайт. Например, если вы хотите удалить из черного списка сайт pupkin.ru, то электронный адрес должен иметь вид vasya@pupkin.ru

В противном случае процедура не сработает.

Введя все данные и не забыв про «капчу» внизу, нажмите кнопку «Submit». Стоит подождать несколько часов, чтобы все данные обработались и обновились. В случае успешной процедуры повторная проверка на Whoer.net должна дать положительный результат.

Как IP получает плохую репутацию?

Это происходит тогда, как за вашим сервером фиксируется чрезмерная рассылка спама. В большинстве случаев, чтобы попасть в черные списки, нужно рассылать ОЧЕНЬ МНОГО спама. Если вы обнаружили свой IP-адрес в черных списках, то стоит изучить логи почтового ящика сервера. Возможно, что один из ваших аккаунтов был взломан, и теперь используется для рассылки спама. Если это так, то в первую очередь нужно обезопасить взломанный профиль.

Поиск черных списков, в которых находится IP-адрес

Черные списки IP-адресов легче всего анализировать при помощи инструмента Blacklist Checker от MXToolbox. Введите свой IP в поле поиска и запустите сканирование

Обращайте внимание на элементы, помеченные статусом ОК. Стоит отметить, что в MXToolbox представлены не все данные

Здесь можно найти лишь списки Microsoft Outlook/Live/Hotmail. Ниже мы поговорим подробнее о проверке IP в спам базах.

Запрос на удаление из черного списка

Большинство специализированных сервисов предлагает опцию, которая позволяет сделать запрос на удаление из списка. Но сначала нужно исправить проблемы, которые привели к внесению в черный список. Запрос может быть отклонен, если сервер продолжает рассылать большие объемы спама.

Основные черные списки и ссылки на форму запроса на удаление из них:

• Barracuda Central: http://www.barracudacentral.org/rbl/removal-request;
• Spamhaus: http://www.spamhaus.org/lookup/;
• LashBack: http://blacklist.lashback.com/;
• Invaluement: http://www.invaluement.com/removal/;
• DNSBL: http://www.dnsbl.manitu.net/.

Скорее всего, вам придется объяснить, почему вы создали запрос на удаление, и какие шаги предприняли, чтобы обезопасить свой сервер. Будьте честными и попытайтесь доказать, что это больше не повторится.

Разбираемся со «злобным» список Microsoft

У Microsoft имеется свой черный список для пользователей Outlook/Live/Hotmail. Самое сложное – это выйти из него.

Сначала нужно проверить IP на наличие в спам базах. Чтобы сделать это, зарегистрируйтесь в Smart Network Data Services. Сервис позволяет добавлять IP-адреса и отслеживать их состояние. Это позволит не только отследить попадание IP в черный список, но и воспользоваться специальными инструментами.

В завершение, зарегистрируйтесь на Sender Score. Sender Score – это индикатор доверия к IP-адресу отправителя письма. Он используется почтовыми сервисами и фильтрами для дополнительной защиты электронных ящиков.

После этого смело отправляйте Microsoft запрос на удаление из списка. На момент написания этой статьи, все известные URL-адреса формы подачи заявления на удаление были недоступны. Поэтому я рекомендую вам послать письмо на delist@messaging.microsoft.com. Если предварительно не зарегистрироваться во всех перечисленных сервисах, то ваш запрос могут проигнорировать.

Другие предостережения

После того, как проверите IP адрес на спам, не забудьте воспользоваться DomainKeys Identified Mail, который берет на себя ответственность за электронные письма, проходящие транзитом. Сервис проверяет их независимо от того, является ли он его отправителем или только посредником в цепочке перенаправлений. Технически, DKIM предлагает метод валидации доменного имени отправителя электронного письма.

Пожалуйста, опубликуйте ваши комментарии по текущей теме материала. Мы крайне благодарны вам за ваши комментарии, отклики, подписки, дизлайки, лайки!

Валентин Сейидовавтор-переводчик статьи «How To Resolve IP Reputation Issues»

API возвращает JSON строку, например:

Copy all

{"data":{"127.0.0.1":{"domains_count":0,"domains_list":null,"spam_rate":0,"submitted":"2021-08-10 04:32:53","updated":"2021-10-14 10:58:10","frequency":9,"in_antispam":0,"in_security":0,"appears":0,"network_type":"good_bots","country":null,"sha256":"12ca17b49af2289436f303e0166030a21e525d266e209267433801a8fd4071a0"},"stop_email@example.com":{"frequency":3,"submitted":"2021-01-01 02:25:06","updated":"2021-01-15 03:01:02","spam_rate":1,"appears":1,"disposable_email":1,"exists":null,"sha256":"6d42ca0235d72b01a2b086ad53b5cfac24b5a444847fad70250e042d7ca8bf59"}}}

Copy all

{"data":{"email_08c2495014d7f072fbe0bc10a909fa9dca83c17f2452b93afbfef6fe7c663631":{"frequency":4,"submitted":"2018-10-16 01:53:49","updated":"2021-04-15 08:49:53","spam_rate":1,"exists":1,"appears":0,"disposable_email":1}}}

Для хэша адреса IP v4:

Copy all

{"data":{"ip4_f46604ded89bbd0e8e478172a9a650f4825a763053ad2e3582c8286864ec4074":{"domains_count":0,"domains_list":null,"spam_rate":1,"submitted":"2018-07-29 07:09:45","updated":"2019-09-25 15:33:00","frequency":13627,"in_antispam":0,"in_security":0,"appears":0,"network_type":"hosting","country":"GB"}}}

Расшифровка ответа:

data — обычно массив проверенных записей представлен в следующем формате: «record»: {массив проверенных результатов}. Иногда ответ «data» возвращает строку «In progress», это означает, что параллельный PHP-процесс работает с точно такими же параметрами — auth_key, method_name и records.

Важно! Ответ «In progress» является значимым его следует учитывать, так как если вызов API содержит большое количество элементов, то они могут быть проверены частично и выдастся ответ «In progress». Только при повторном вызове будут проверены все оставшиеся элементы

Массив с проверенными записями содержит следующие поля:

• appears — флаг присутствия в черных списках (показывает блокировку на настоящий момент),

• sha256 — хэш sha256 адреса,
• network_type — принадлежность к определенному типу сети (возможно в дальнейшем добавятся новые типы):

• spam_rate — спам-рейтинг от 0 до 100%. 100 означает точно спам (отношение спам запросов к общему количеству запросов). Параметр «spam_rate» может иметь значение от 0 до 1:  «spam_rate»: «1» — 100% запросов было спамом, «spam_rate»: «0,75» — 75% запросов было заблокировано как спам,
• submitted — дата и время первой спам-активности,
• updated — дата и время последнего обновления статуса,
• country — буквенный код страны, которой принадлежит IP адрес, в формате ISO 3166-1 alpha-2,
• exists — существует ли данный email (0 — не существует, 1 — существует, null — пустой статус, адрес не находится в списках в данный момент),
• disposable_email — является ли данный email временным (0 — обычный, 1 — временный, null — пустой статус, адрес не находится в списках в данный момент),
• frequency — количество сайтов отметивших запись как спам. Может быть от 0 до 9999 (показывает всю активность с самого начала обнаружения адреса)
• spam_frequency_24h — это количество спам запросов, которые были заблокированы анти-спам сервисом за последние 24 часа.
• in_antispam — IP адрес найден в чёрном списке анти-спам,
• in_antispam_previous — предыдущий статус в чёрном списке анти-спам. Может показать была ли запись в чёрном списке ранее (0 — не была в ЧС, 1 — была в ЧС, NULL — нет изменений)
• in_antispam_updated — Дата измения статуса в чёрном списке анти-спам (NULL — нет изменений),
• in_security — IP адрес найден в чёрном списке безопасности (brute-force),
• domains_count — число доменов, найденных на IP адресе.

В случае указания параметра «date» данные ответа приводятся только на указанную дату. Посредством POST запроса можно за один раз отправить на проверку до 1000 записей.

Если не было активности с адреса в течение 14 дней, то запись удаляется из черных списков, но вся история остаётся.

Подводим итоги

Мы понимаем, что сервисов слишком много, и вам хочется сориентироваться, для каких целей использовать тот или иной пункт из статьи. Давайте коротко резюмируем все вышесказанное:

• Если вы хотите отслеживать динамику репутации отправителя, доставляемость, то для этого отлично подойдут постмастеры – быстро, и платить ничего не нужно. 

• Если вы сомневаетесь в дизайне и верстке, убрать все печали можно, задействовав Mail-tester.

• Проверяйте в пару кликов доставляемость в разные почтовые системы посредством GlockApps.

• Оценивайте качество собранной базы подписчиков (чтобы в случае чего оперативно почистить ее) через MailValidator.

• Узнайте, не занесли ли вас в блэклисты. Для этого пригодятся уже знакомые нам сервисы Mail-tester и GlockApps.