Находится ли ваш почтовый домен в спам-листе?
Содержание:
- Проверяем на АГС
- Ограничения
- Видимость в поисковике и ранжируемые ключевые запросы
- Повышаем репутацию домена, чтобы не попасть в спам лист
- Четыре популярных блэклиста
- Какие бывают спам базы
- API возвращает JSON строку, например:
- Расшифровка ответа:
- Смотрим ip домена и смежных сайтов
- Как проверить, не угодил ли почтовый сервер в черные списки
- Описание нескольких примеров ответов API
- Необязательные GET параметры:
- Как почтовые сервисы определяют репутацию отправителя
- FindThatLead
- «И ты попал в блэк лист» — как работают черные списки?
- Как узнать, что сайт в чёрном списке?
- ТОП популярных блэклистов
- Если домен присутствует в блэклистах
- Как IP получает плохую репутацию?
Проверяем на АГС
Что такое АГС? Это фильтр Яндекса, который предназначен для обнаружения и блокировки сайтов с бесполезным для пользователей контентом. Обычно это происходит с сайтами, разработанными для продажи ссылок. Вместо исключения подобных страниц из поиска – аннулируется тИЦ. Итак, причины:
- торговля ссылками;
- на сайте множество всплывающих окон и баннеров для интенсивной монетизации;
- отсутствие ценности в контенте сайта и уникальности;
- очевидное создание сайта исключительно в целях монетизации.
Предлагаю несколько рабочих способов по определению наложенных санкций:
- В поисковике Яндекса введите: site:nazvanie.ru (nazvanie.ru – адрес проверяемого сайта). Если отобразилось меньше 10 страниц (при условии, что на Вашем сайте их столько же или больше) – возможно, наложен фильтр.
- Заходим в Яндекс.Каталог и вводим: https://yandex.by/yaca/cy/ch/nazvanie.ru. Если тИЦ отображается (он может быть «0» для нового «здорового» сайта) – всё в порядке. Если он «не определён» – это свидетельствует о наличии фильтра АГС.
- Сделать это можно с помощью удобного сервиса . Введите адрес, проверьте «Основные параметры» и «Индексацию». тИЦ должен определяться. Перейдите к разделу «Санкции», чтобы проверить домен на АГС, там есть прямые данные о нём.
- Возможна и массовая проверка сервисом Seo-inf по данной ссылке: http://seo-inf.ru/dtools/mass_url/
Решаем проблему
Если сайт попал под АГС-фильтр – ситуация решается обращением в службу технической поддержки Яндекса. Опишите проблему и получите рекомендации, следуя которым можно его снять.
Notice
Чтобы прояснить ситуацию и быть более уверенными, делайте проверку всеми возможными способами, не ограничиваясь каким-то одним.
Ограничения
Если вы превысите максимальное количество вызовов, API вернет ошибку, например,
Copy all
{"error_message":"Calls limit exceeded.","error_no":10}
Сейчас максимальное количество вызовов установлено в 100 вызовов за 60 секунд.
Если вы превысите максимальное количество элементов данных в методе spam_check вызовов, API вернет ошибку, например,
Copy all
{"error_message":"Recevied 1001 records to check, maximum 1000 records check perl call.","error_no":8}
Сейчас максимальное количество элементов данных установлено в 1000.
Рекомендуемый таймаут — не более 180 секунд.
Ошибки при анализе и обработке данных возвращаются индивидуально для каждой записи, например,
Copy all
{"data":{"10.0.0.3":{"error":"Database error"}}}
Copy all
{"data":{"10.0.0.266":{"error":"Can't check this record: Wrong format"}}}
Примечание: Если в запросе передается дата, то время выполнения этого запроса будет немного увеличено.
Видимость в поисковике и ранжируемые ключевые запросы
Проверяем операторами в поисковой выдаче
- site:site.com
- “site”
Аализируем ранжируемые ключевые запросы по serpstat обращаем внимание на:
- наличие сторонних страниц
- наличие других источников с таким же доменным именем, но с другой доменной зоной
- наличие бренда по доменному имени
Будет негативом, если имя домена:
- является другим брендом или конкурента
- попадало под атаку вирусов
- имеет много негативных упоминаний, отзывов
- при поиске выдает в индексе много сторонних страниц, не являющиеся целевыми
- ранжируется по сторонним нецелевым запросам
Пример
В поисковой выдаче (1 и 2 скрин)
Из анализа serpstat
Повышаем репутацию домена, чтобы не попасть в спам лист
Перед рассылкой рекомендуется подготавливать домен, чтобы фильтры сразу не занесли его в черные списки. Для этого собирается и обрабатывается база для исключения ловушек, мертвых адресов, настраиваются технические параметры и регулярно отслеживается статистика для планирования дальнейших действий. Поговорим подробнее о каждом из пунктов.
Сбор базы подписчиков
- Не собирайте базу ссылок с чужих источников, используйте формы на сайте, анкеты на мероприятиях. Так вы меньше рискуете потерять репутацию и нарваться на спам-фильтры.
- Используйте на сайтах для сбора двойную проверку (Double Opt-In): сначала пользователь вводит свой адрес, а потом заходит на почту и переходит по ссылки для подтверждения согласия. Во-первых, вы сразу удалите несуществующие e-mail, потому что на них письмо просто не дойдет. Во-вторых, вы отправляете только тем подписчикам, которые действительно хотят получить ваши сообщения. Mail.RU пишет в общих положениях об обязательном использовании именно Double Opt-In, двойной проверке, то есть когда человек однозначно выразил согласие на получение. Некоторые сервисы считают рассылку без Double Opt-In спамной.
- Single Opt-In — пользователи один раз вводят свой адрес и не подтверждают согласие никакими ссылками в письмах. Такой способ наиболее удобен и в разы увеличивает базу. Однако не факт, что она будет заинтересована в контенте, и вы рискуете оказаться в папке спам, а потом и в глобальных блэклистах. Этим способом могут воспользоваться ваши конкуренты. Им ничего не будет стоить добавить в вашу базу несуществующие адреса, роботов и прочего мусора. Рассылка по таким пользователям сразу выведет вас из строя, а очищение базы займет много сил и времени. Если в ней есть подписчики, адреса которых ввели без их согласия, они будут жаловаться. В итоге, Single Opt-In — это быстрый набор базы, а также хороший способ показать конкурентам слабое место в системе. С Double Opt-In часть этих проблем уходит.
- Используйте капчу. Она предоставращает подписку роботов, которых могут отправить конкуренты.
Фильтрация базы
- Фильтруйте базу, чтобы не рассылать контент на несуществующие адреса или давно оставленные пользователями. Отсеивайте дубликаты. Вспомогательные инструменты не очистят мусор полностью, но уберут ошибочных адресатов и ловушки. Статистика с преимущественно живой аудиторией более правдива и эффективна для будущих маркетинговых стратегий.
Начало рассылки
- Если вы долго ничего не писали подписчикам, то они могли уже забыть о своей подписки. Начинайте рассылку с тех, кто отправил заявку в числе последних. Обязательно указывайте в первом сообщении кто вы и о чем пишите, максимально информируйте людей, чтобы развеять ложные ожидания. Отправляйте контент только тем людям, которые сами попросили об этом.
- Собранные адреса разделите на группы: mail.ru (list.ru, inbox.ru, bk.ru), gmail.com и yandex.ru.
- Рассылку начинайте медленно, но верно. Для Яндекса массовой рассылкой считается отправка от 100 писем, Gmail — 50. Отправляйте сначала по минимуму, увеличивая каждый день количество писем на 30%.
Статистика
- Регулярно проверяйте аналитику по рассылкам. Будьте готовы уменьшать количество, например, если растет число жалоб. Иначе почтовый сервис будет доставлять письма в папке спама или не показывать их вообще.
- Если в статистике есть графа «Репутация», следите за ее повышением.
- Аналитика Яндекса на postoffice.yandex.ru подробна и дает понять, что нужно поменять. По ней можно узнать, сколько людей установило личный фильтр или пожаловались до открытия сообщения. Отдельно показывается сколько писем удалено до и после прочтения. Чем меньше непрочитанных — тем интереснее аудитории. Чем больше прочитанных остались в ящике — тем лучше.
- У Google аналитика есть разделы по рейтингу спама, IP и домен репутации. В первом случае, вы получите отчет, как много людей отметили вашу рассылку спамом. Обычно это сигнал, что письма приходят без согласия пользователя или вы их утомили, а найти кнопку «Отписаться» — сложно.
- В IP Reputation отслеживается репутация адреса. Нужно, чтобы все колонки были зелеными. Если они становятся желтыми, а все условия выполняются, необходимо обратится к провайдеру с просьбой поменять IP. Domain Reputation показывает репутацию домена.
Четыре популярных блэклиста
- Spamhaus. Им пользуются все почтовые сервисы. Алгоритмы черного списка проверяют свою базу и добавляют в нее домены, попавшиеся на нарушениях. Техническая поддержка работает оперативно. В службе вы можете уточнить, почему оказались в блэклисте. Если сообщить о решении проблемы, техподдержка быстро уберет домен из своей базы.
- Spamcop. Вырос до сервиса жалоб. Пользователь сообщает о подозрительной рассылке. Сервис проверяет ее, добавляет в блэклист, если это спам, и уведомляет отправителя о санкциях.
- SORBS. Популярный блэклист среди компаний — основные почтовые службы его не смотрят. В сервисе много спам-ловушек, которые часто приводят в черный список новые домены. Дружелюбная техподдержка поможет исправить проблему и потом удалит адрес из блэклиста.
- URIBL. Предлагает суровые условия — несколько попаданий в блэклист, и ваш домен останется там навсегда. Выбраться будет очень тяжело. Но и попадают туда только за явные нарушения, поэтому URIBL ценится среди почтовых провайдеров.
Какие бывают спам базы
Черные списки разделяются на два типа: частные и публичные.
- Частные создаются отдельным пользователем или конкретной компанией для блокировки некоторых доменов, чтобы не получать от них никаких писем. Пример, знакомый всем: допустим, к вам на почту приходят постоянно сообщения на тему заработка в казино. Вы добавляете отправителя в личный блэклист и больше не видите сообщений от него. Отправителю обойти этот список проще, чем публичный: нужно связаться с владельцем ящика или администратором компании и обсудить вопрос, возможно, блокировка писем произошла случайно. Но это не всегда приводит к положительному исходу.
- Публичные базы создаются специально для всех пользователей, и ими пользуются уже спам-фильтры и провайдеры почты. Если отправитель попадает в крупные и известные листы, большая часть его писем будет с пометкой спам и не дойдет до адресатов.
API возвращает JSON строку, например:
Copy all
{"data":{"127.0.0.1":{"network_type":"unknown","country":"","appears":0,"frequency":0,"sha256":"12ca17b49af2289436f303e0166030a21e525d266e209267433801a8fd4071a0"},"stop_email@example.com":{"frequency":1001,"updated":"2021-02-22 12:06:14","spam_rate":0,"exists":1,"frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":1,"disposable_email":1,"sha256":"6d42ca0235d72b01a2b086ad53b5cfac24b5a444847fad70250e042d7ca8bf59"}}}
Copy all
{"data":{"email_08c2495014d7f072fbe0bc10a909fa9dca83c17f2452b93afbfef6fe7c663631":{"frequency":4,"updated":"2018-10-31 00:07:21","spam_rate":1,"exists":1,"frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":0,"disposable_email":1}}}
Для хэша адреса IP v4:
Copy all
{"data":{"ip4_f46604ded89bbd0e8e478172a9a650f4825a763053ad2e3582c8286864ec4074":{"frequency":13626,"updated":"2019-05-15 05:01:23","spam_rate":1,"network_type":"hosting","country":"GB","frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":1}}}
Расшифровка ответа:
data — обычно массив проверенных записей представлен в следующем формате: «record»: {массив проверенных результатов}. Иногда ответ «data» возвращает строку «In progress», это означает, что параллельный PHP-процесс работает с точно такими же параметрами — auth_key, method_name и records.
Важно! Ответ «In progress» является значимым его следует учитывать, так как если вызов API содержит большое количество элементов, то они могут быть проверены частично и выдастся ответ «In progress». Только при повторном вызове будут проверены все оставшиеся элементы
Массив с проверенными записями содержит следующие поля:
-
appears — флаг присутствия в черных списках (показывает блокировку на настоящий момент),
- sha256 — хэш sha256 адреса,
- network_type — принадлежность к определенному типу сети (возможно в дальнейшем добавятся новые типы):
- spam_rate — спам-рейтинг от 0 до 100%. 100 означает точно спам (отношение спам запросов к общему количеству запросов). Параметр «spam_rate» может иметь значение от 0 до 1: «spam_rate»: «1» — 100% запросов было спамом, «spam_rate»: «0,75» — 75% запросов было заблокировано как спам,
- submitted — дата и время первой спам-активности,
- updated — дата и время последнего обновления статуса,
- country — буквенный код страны, которой принадлежит IP адрес, в формате ISO 3166-1 alpha-2,
- exists — существует ли данный email (0 — не существует, 1 — существует, null — пустой статус, адрес не находится в списках в данный момент),
- disposable_email — является ли данный email временным (0 — обычный, 1 — временный, null — пустой статус, адрес не находится в списках в данный момент),
-
frequency — количество сайтов отметивших запись как спам. Может быть от 0 до 9999 (показывает всю активность с самого начала обнаружения адреса),
- frequency_time_10m — активность за 10 минут (показывает сколько попыток спама было зафиксировано),
- frequency_time_1h — активность за 1 час (показывает сколько попыток спама было зафиксировано),
- frequency_time_24h — активность за 24 часа (показывает сколько попыток спама было зафиксировано),Эти 3 параметра будут исключены из выдачи API spam_check() 7 октября 2021г.
- in_antispam — IP адрес найден в чёрном списке анти-спам,
- in_security — IP адрес найден в чёрном списке безопасности (brute-force),
- domains_count — число доменов, найденных на IP адресе.
В случае указания параметра «date» данные ответа приводятся только на указанную дату. Посредством POST запроса можно за один раз отправить на проверку до 1000 записей.
Если не было активности с адреса в течение 14 дней, то запись удаляется из черных списков, но вся история остаётся.
Смотрим ip домена и смежных сайтов
Для анализа доменного имени и смежных реурсов, которые лежат на одном ip использовать следующие сервисы
- whois сервис: https://2ip.ru/whois/
- CY-PR сервис: https://www.cy-pr.com/tools/oneip/
Обратить внимание на
- лежат ли на одном ip другие ресурсы клиента
- лежат ли на одном ip веб сервисы запрещенной тематики
Что можно найти из негатива
- одинаковые ресурсы клиента на одном айпи — аффилиаты
- смежные ресурсы запрещенной тематики принадлежащие данному ip
Пример
Определение ip доменного имени https://2ip.ru/whois/
Определение смежных сайтов данного ip https://www.cy-pr.com/tools/oneip/
Кроме всего вышеперечисленного, будет полезно сделать следующее:
Проверить домен сайта перед покупкой на фильтры и санкции
Это важно, если вы покупаете действующий домен (сайт, который уже работает). Важно оценить, что ресурс не находится под одним из фильтров Яндекс или Гугл
В том случае, если домен попал под фильтр Панда или Пингвин, вы должны понимать, что с покупкой его вам придется еще несколько месяцев затратить на работу с контентом и ссылочным профилем для нормального продвижения сайта в будущем. Проверить индексацию. Это самый простой способ выявить, не выпали ли страницы из индекса и какие на то есть причины.
Проверить домен на наличие в спам базах и черных списках. Это можно сделать на MxToolbox в разделе Blacklist. Также с этим могут помочь другие ресурсы, например, AntiSpamSniper, UltraTools, BLACKLISTALERT.
Вывод
На первый взгляд количество действий, описанных в данной статье, кажутся нескончаемым объемом работы. В статье «Как выбрать доменное имя сайта?» вы можете ознакомится, исходя из каких критериев стоит подбирать имя для будущего сайта. Все-таки домен — это лыжи, на которых поедет ваш будущий сайт. От этого зависит его дальнейшее продвижение, репутация и успех вашего бизнеса.
Как проверить, не угодил ли почтовый сервер в черные списки
У каждого блэклиста есть свой сайт с поиском по базе. Некоторые сервисы продают доступ. Но популярные черные списки — бесплатные. Проверьте свой IP-адрес или домен в Spamhaus и URIBL. Для начала этого будет достаточно. Введите свой адрес — блэклист сразу выдаст результаты проверки. Зеленый цвет означает отсутствие в блэклисте, а красный покажет, в каком списке находится ваш адрес и что нужно сделать для его удаления.
Если есть права администратора на домене, загляните в логи отправки. Это ответ сервера, который принял письмо. Если адрес в блэклисте, вы увидите это в логах. Там будет ссылка на черный список.
Если не хотите возиться с проверкой по каждому блэклисту, запускайте сервисы проверок — MxToolBox или Mail-tester. Они проверят ваш адрес по 100 чёрным спискам.
Описание нескольких примеров ответов API
Ниже вы можете увидеть разбор и описание параметров для возможных вариантов ответа сервера, таких как:
- «appears» — флаг присутствия в черных списках;
- «spam_rate» — спам-рейтинг от 0 до 100%. 100 означает точно спам (отношение спам запросов к общему количеству запросов). Параметр «spam_rate» может иметь значение от 0 до 1: «spam_rate»: «1» — 100% запросов было спамом, «spam_rate»: «0,75» — 75% запросов было заблокировано как спам.
- «frequency» — количество сайтов, которые сообщили о спам активности записи;
- «frequency_time_10m» — активность за 10 минут;
- «frequency_time_1h» — активность за 1 час;
- «frequency_time_24h» — активность за 24 часа;
- «network_type» — категория использования адресного пространства;
- «submitted» — дата и время первой спам-активности;
- «updated» — дата и время последнего обновления статуса;
- «in_antispam» — IP адрес найден в чёрном списке анти-спам;
- «in_security» — IP адрес найден в чёрном списке безопасности (brute-force).
Пример:
Copy all
"ip":{"appears":1}
Объяснение:
IP находится в черном списке;
Пример:
Copy all
"ip":{"appears":0}
Объяснение:
IP не находится в черном списке;
Пример:
Copy all
"ip":{"appears":"0", "frequency":"15"}
Объяснение:
- «appears»: «0» — IP не находится в черном списке;
- «frequency»: «15» — 15 сайтов сообщили о спам активности этого IP.
Пример:
Copy all
"ip":{ "appears":"0","spam_rate":"1","frequency":"1","frequency_time_10m":"1","frequency_time_1h":"1","frequency_time_24h":"1"}
Объяснение:
- «appears»: «0» — IP не находится в черном списке;
- «spam_rate»: «1» — был 1 запрос и он был определен как спам активный;
- «frequency»: «1» — 1 сайт сообщил о спам активности этого IP.;
- «frequency_time_10m»: «1» — был 1 спам запрос за 10 минут;
- «frequency_time_1h»: «1» — был 1 спам запрос за 1 час;
- «frequency_time_24h»: «1» — был 1 спам запрос за 24 часа.
Пример:
Copy all
"email":{ "appears":"0","spam_rate":"1","frequency":"1","frequency_time_10m":"1","frequency_time_1h":"1","frequency_time_24h":"1","exists":"1"}
Объяснение:
- «appears»: «0» — email не находится в черном списке;
- «spam_rate»: «1» — был 1 запрос и он был определен как спам активный;
- «frequency»: «1» — 1 сайт сообщил о спам активности этого email;
- «frequency_time_10m»: «1» — был 1 спам запрос за 10 минут;
- «frequency_time_1h»: «1» — был 1 спам запрос за 1 час;
- «frequency_time_24h»: «1» — был 1 спам запрос за 24 часа;
- «exists»: «1» — реальный адрес электронной почты, который присутствует на почтовом сервере.
Необязательные GET параметры:
-
ip — ip адрес для проверки (IPv4 или IPv6 в стандартном текстовом виде виде)
-
email — email адрес для проверки (Результат выдается за последние 6 месяцев)
- date — дата в формате YYYY-MM-DD, используется при необходимости указания конкретного дня, за который требуется подсчитать статистику (только для IP адресов.)
- email_<SHA256> — хэш SHA256 адреса email
- ip4_<SHA256>- хэш SHA256 адреса IPv4
- ip6_<SHA256>- хэш SHA256 адреса IPv6
Пример запроса c IP:
Copy all
https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&email=stop_email@example.com&ip=127.0.0.1
Пример запроса c date:
Copy all
https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&ip=127.0.0.1&date=2017-01-31
Copy all
https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&email=email_08c2495014d7f072fbe0bc10a909fa9dca83c17f2452b93afbfef6fe7c663631
Пример с хэшем адреса IP v4:
Copy all
https://api.cleantalk.org/?method_name=spam_check&auth_key=12345&ip=ip4_f46604ded89bbd0e8e478172a9a650f4825a763053ad2e3582c8286864ec4074
Как почтовые сервисы определяют репутацию отправителя
У каждого почтового провайдера свои критерии для оценки, но можно выделить четыре параметра, которые влияют на репутацию:
- Качество базы подписчиков — активные адреса без ботов, спам-ловушек, недействительных аккаунтов и пользователей, которые не соглашались на рассылку. Покупка или парсинг базы исключены.
- Содержание письма — тексты, изображения, верстка, дизайн.
- Процент отписок и жалоб.
- Настройки аутентификации IP или домена.
Последний параметр — технический. Для подтверждения репутации нужно указать служебные записи DMARC, SPF, DKIM. Они отвечают за идентификацию отправителя и служат в качестве цифрового паспорта. Сервис «Почта для домена» от Mail.ru для бизнеса помогает с настройками рассылки. В момент подключения домена пользователю расскажут, какие параметры нужно указать. Сервис проверит работу домена и предупредит об ошибках.
FindThatLead
Краткий обзор
Мы отметили следующие нюансы:
+ Достаточно высокое качество проверки адресов.
— Сложный процесс регистрации. Вы не можете создать аккаунт, используя бесплатный адрес. Мы также столкнулись с другой проблемой: нам не пришло письмо со ссылкой для подтверждения регистрации, а техподдержка не отвечала около двух недель.
— Невозможно купить менее 5000 кредитов.
— Импорт файлов доступен только в CSV-формате, причем сервис потерял по одному адресу из каждого списка при их загрузке.
— Массовая проверка емейл длится довольно долго.
— Кредиты взимаются за проверку всех контактов.
— Вы не можете узнать результаты валидации на странице сервиса. Их можно только скачать списком. То есть, если вам нужны только валидные ящики, сперва надо отсортировать загруженный список по статусу, и это неудобно. Хотелось бы, чтобы список с адресами каждого статуса можно было скачивать отдельно.
Результаты теста
Список валидных адресов:
- Сервис распознал валидные как валидные ― 496
- Сомнительные — 101
- Ошибочно распознал валидные электронные адреса как невалидные ― 4
- 1 email-адрес был утерян при импорте списка
Список невалидных адресов:
- Сервис распознал невалидные как невалидные — 493
- Сомнительные — 103
- Ошибочно распознал невалидные как валидные — 3
- 1 email-адрес был утерян при импорте списка
Скачанный файл с проверенными контактами выглядит так:
Наша оценка
Результаты проверки неплохие, но множество мелких неудобств портят впечатление. Решающим фактором для нас стал список электронных адресов, который не был отсортирован. Кроме того, этот верифайер не позволяет управлять пользовательским проспект-листом, несмотря на то, что тут есть инструмент для массовых рассылок.
Да, FindThatLead показал достойные результаты тестирования, но мы, все же, рекомендуем подумать дважды, стоит ли этот сервис вашего времени или лучше выбрать аналогичную платформу, с которой проще работать.
Наша оценка ― 3,9 балла.
«И ты попал в блэк лист» — как работают черные списки?
Для начала обозначим особенности работы черных списков. В эту базу данных попадают доменные имена и IP-адреса, занимающиеся рассылкой спама. Их перечень находится в постоянном доступе на серверах, к которым обращаются почтовые провайдеры. Представим, что какой-то абстрактный отправитель есть в одном из черных списков. Это гарантирует минус к карме его репутации, а, значит, есть большая вероятность, что отправления с этого адреса или даже его упоминания в контенте письма будут приводить к попаданию в спам или вовсе к блокировке отправки.
Существует очень много таких black lists! Какие-то являются общепризнанными и крупными, поэтому на них ориентируются даже самые авторитетные и крупные провайдеры. Есть и локальные списки для маленьких организаций, платные и бесплатные. Наш сервис мониторит все доступные базы данных, чтобы исключить любые несостыковки.
Как узнать, что сайт в чёрном списке?
Нужно проверить домен на спам-листы и узнать, не попал ли он в чёрный список DNS. Перечислим основные причины:
- подозрение на спам;
- размещение запрещённого контента;
- размещение ссылок на другие сайты с запрещённым контентом.
Любой, даже незначительный, прокол в работе может привести к данной проблеме. Алгоритмы проверки постоянно меняются, даже «чистый» сайт с легальным контентом иногда может попасть под санкции.
Рассмотрим основные варианты. Можно воспользоваться сервисом ХостТрекер. Здесь доступна бесплатная функция проверки наличия домена в DNSBL (DNS Blacklist – списки хостов, которые хранятся с применением архитектуры DNS). Также есть сервис Mxtoolbox, где предлагается подобное. На этом список сервисов не ограничивается, можете выбрать любой удобный. Я же разберу этот вопрос на примере ХостТрекер:
- зайдите на сайт http://www.host-tracker.com
- справа в окне выберите «проверить свой сайт»
- ставим галочку на «DNSBL»;
- введите адрес сайта;
- нажмите на «проверить сейчас».
После этого Ваш адрес проверят по нескольким десяткам списков и появится результат, вот пример:
Если домен присутствует в блэклистах
Когда обнаруживаются проблемы, причина в обязательном порядке указывается. Есть несколько способов удаления из черного списка:
- Проверка на спам-рассылку. Необходимо убедиться, что сервер почты не используется злоумышленниками. Также выполните настройку обратного запроса DNS (доменная зона для определения имени сетевого узла по IP) почтового сервера. Настройте SPF (инфраструктура политики отправителя, специальное расширение для протокола отправки почты).
- Выяснить обстоятельства. Перейдите по ссылкам, докажите, что не являетесь роботом. Вводите адрес сайта и нажимайте на «разблокировать». В отдельных ситуациях придётся писать письмо с просьбой о разблокировке, преждевременно устранив причину попадания в ЧС.
Notice
После того, как удастся проверить домен на АГС и спам-листы, необходимо сразу исправить ситуацию и чем быстрее, тем лучше, а потом можно заниматься продвижением своего сайта в прежнем режиме.
ТОП популярных блэклистов
Предлагаем вашему вниманию ТОП-5 черных списков, которые являются самыми востребованными и авторитетными. Именно они больше всего влияют на доставляемость ваших писем из рассылок:
-
Spamcop. Это масштабный сервис, в котором пользователи могут не только получить информацию, но и оставить жалобу на рассылку.
-
ProofPoint. Этим списком пользуется корпорация Apple. Если ваш IP попадет в него, письма не будут приходить на адреса пользователей @me.com и @icloud.com.
-
Spamhaus – один из самых достоверных листов, которые не делает осечек. При попадании в него домена или IP адреса письма перестаюь доставляться на все основные почтовые сервера (Mail.ru, Яндекс, Google, Microsoft, Yahoo). Огромный плюс этого проекта в хорошей технической поддержке. Она оперативно реагирует на каждое обращение. Если вы исправите выявленную проблему, то вас исключат из блэклиста.
-
Черный список для доменных имен URIBL! Если вы окажетесь тут несколько раз, то почти нет шансов выбраться.
-
SORBS. Интересно, что на этот сервис почти не обращают внимания крупные почтовики. Главный его контингент – это организации. SORBS тщательно отслеживает внедрение адресов-ловушек и радует отличной техподдержкой. При быстром и адекватном реагировании можно выбраться из блэклиста с минимальными потерями.
Если домен присутствует в блэклистах
Когда обнаруживаются проблемы, причина в обязательном порядке указывается. Есть несколько способов удаления из черного списка:
Проверка на спам-рассылку.
Необходимо убедиться, что сервер почты не используется злоумышленниками. Также выполните настройку обратного запроса DNS (доменная зона для определения имени сетевого узла по IP) почтового сервера.
Настройте SPF (инфраструктура политики отправителя, специальное расширение для протокола отправки почты).
Выяснить обстоятельства.
Перейдите по ссылкам, докажите, что не являетесь роботом. Вводите адрес сайта и нажимайте на «разблокировать». В отдельных ситуациях придётся писать письмо с просьбой о разблокировке, преждевременно устранив причину попадания в ЧС.
Как IP получает плохую репутацию?
Это происходит тогда, как за вашим сервером фиксируется чрезмерная рассылка спама. В большинстве случаев, чтобы попасть в черные списки, нужно рассылать ОЧЕНЬ МНОГО спама. Если вы обнаружили свой IP-адрес в черных списках, то стоит изучить логи почтового ящика сервера. Возможно, что один из ваших аккаунтов был взломан, и теперь используется для рассылки спама. Если это так, то в первую очередь нужно обезопасить взломанный профиль.
Поиск черных списков, в которых находится IP-адрес
Черные списки IP-адресов легче всего анализировать при помощи инструмента Blacklist Checker от MXToolbox. Введите свой IP в поле поиска и запустите сканирование
Обращайте внимание на элементы, помеченные статусом ОК. Стоит отметить, что в MXToolbox представлены не все данные
Здесь можно найти лишь списки Microsoft Outlook/Live/Hotmail. Ниже мы поговорим подробнее о проверке IP в спам базах.
Запрос на удаление из черного списка
Большинство специализированных сервисов предлагает опцию, которая позволяет сделать запрос на удаление из списка. Но сначала нужно исправить проблемы, которые привели к внесению в черный список. Запрос может быть отклонен, если сервер продолжает рассылать большие объемы спама.
Основные черные списки и ссылки на форму запроса на удаление из них:
- Barracuda Central: http://www.barracudacentral.org/rbl/removal-request;
- Spamhaus: http://www.spamhaus.org/lookup/;
- LashBack: http://blacklist.lashback.com/;
- Invaluement: http://www.invaluement.com/removal/;
- DNSBL: http://www.dnsbl.manitu.net/.
Скорее всего, вам придется объяснить, почему вы создали запрос на удаление, и какие шаги предприняли, чтобы обезопасить свой сервер. Будьте честными и попытайтесь доказать, что это больше не повторится.
Разбираемся со «злобным» список Microsoft
У Microsoft имеется свой черный список для пользователей Outlook/Live/Hotmail. Самое сложное – это выйти из него.
Сначала нужно проверить IP на наличие в спам базах. Чтобы сделать это, зарегистрируйтесь в Smart Network Data Services. Сервис позволяет добавлять IP-адреса и отслеживать их состояние. Это позволит не только отследить попадание IP в черный список, но и воспользоваться специальными инструментами.
В завершение, зарегистрируйтесь на Sender Score. Sender Score – это индикатор доверия к IP-адресу отправителя письма. Он используется почтовыми сервисами и фильтрами для дополнительной защиты электронных ящиков.
После этого смело отправляйте Microsoft запрос на удаление из списка. На момент написания этой статьи, все известные URL-адреса формы подачи заявления на удаление были недоступны. Поэтому я рекомендую вам послать письмо на delist@messaging.microsoft.com. Если предварительно не зарегистрироваться во всех перечисленных сервисах, то ваш запрос могут проигнорировать.
Другие предостережения
После того, как проверите IP адрес на спам, не забудьте воспользоваться DomainKeys Identified Mail, который берет на себя ответственность за электронные письма, проходящие транзитом. Сервис проверяет их независимо от того, является ли он его отправителем или только посредником в цепочке перенаправлений. Технически, DKIM предлагает метод валидации доменного имени отправителя электронного письма.
Пожалуйста, опубликуйте ваши комментарии по текущей теме материала. Мы крайне благодарны вам за ваши комментарии, отклики, подписки, дизлайки, лайки!