Author Topic: Sendmail с антиспамовой политикой  (Read 10627 times)

0 Members and 1 Guest are viewing this topic.

Offline Krueger

  • Full Member
  • ***
  • Posts: 195
  • Karma: +0/-0
    • http://www.zaonsv.ru
Sendmail с антиспамовой политикой
« on: March 31, 2006, 17:25:04 »
Стоит сендмаил 8.13 + spamassasin-milter. Огромные кучи спама ловит, но тем не менее часть проходит. Заношу подсети в /etc/mail/access, но что-то особого толку не вижу:-( файл растёт, а кол-во спама особо не уменьшается. Большая часть спама приходит от нераспознаных айпишников. как запретить приём такой почты? (т.е. если по nslookup тишина в ответ, то отлуп, иначе принимать)

Вот такие строчик есть в m4 конфиге, первая вроде разрешает только приём почты от релеев прописавших меня в качестве MX записи, или нет?
затем идут разные чёрные списки.
-------sendmail.mc-------
FEATURE(relay_based_on_MX)
FEATURE(dnsbl)
FEATURE(`dnsbl', `relays.ordb.org', `Rejected - see http://ordb.org/')dnl
FEATURE(`dnsbl', `dul.ru', `Use mail relays of your ISP')dnl
FEATURE(`enhdnsbl', `bl.spamcop.net', `"Spam blocked see: http://spamcop.net/bl.shtml?"$&{cl
FEATURE(`enhdnsbl', `combined.njabl.org', `Spam blocked by http://combined.njabl.org')dnl
-------sendmail.mc закончился-------

может ещё пару-тройку чёрных списков добавить?
но думается, должно быть проще решение..

Offline stranger

  • Hero Member
  • *****
  • Posts: 922
  • Karma: +0/-0
    • http://
Sendmail с антиспамовой политикой
« Reply #1 on: March 31, 2006, 17:50:25 »
Таким способом ты не сможешь отрезать весь спам. Многие спамеры отправляют с существующих релеев. Спам все равно будет проходить. У меня у spamassassin настроена баесовская база и пользователи могут с помощью webmail (squirrellmail) добавлять новые письма для проверки синтаксиса по баесу для писем. Все равно систему приходится постоянно обучать и спам время от времени проходит. Использовать черные списки то же не очень хорошо. Был прицендент когда в черный список некоторых спискодержателей вся зона ru попала.
Обсолютно спам срезать все равно не получится, конечно, если пожертвовать возможными потерями важных писам, то да наверно можно.
Я меня в день чертова гора спама валится и весь спам делится на две группы с достаточно жесткими правилами для пользователей - одна группа сразу в /dev/null отправляется, а вторая узерам в специальные папки складывается - там подозрительные письма находятся.
Спамом у меня считаются все письма в 5.5 баллов, а удаляются в 13 баллов и выше.
И то вреоятность ложного срабатывания при достаточно большай баесовской базе не нулевая.
[span style='font-family:Geneva'][span style='font-size:8pt;line-height:100%'][span style='color:gray']Единственное условие, от которого зависит успех, есть терпение.   Л.Н.Толстой
[/span][/span][/span]

Offline Krueger

  • Full Member
  • ***
  • Posts: 195
  • Karma: +0/-0
    • http://www.zaonsv.ru
Sendmail с антиспамовой политикой
« Reply #2 on: April 01, 2006, 19:37:45 »
Да я понимаю, что весь спам не отрезать, не посылая всю почту в /dev/null, просто сейчас осталась одна основная проблема, почта отправляется с IP адреса, который не имеет имени, вот интересует, можно такое отсечь как-нибудь или нет.

А байес, я так и не понял, как настраивать:-( кормлю, кормлю ему письма, а он не включается всё-равно:-(
в local.cf естественно стоит опция use_bayes 1
только вот ещё один вопрос остаётся по нему непонятным, откуда он вообще должен брать базы? в предыдущих версиях (сейчас стоит p5-Mail-SpamAssassin-3.1.0_6) вроде была опция типа bayes_path, а тут нету, и когда кормишь его письмами, то оно складывается в директории того пользователя, который кормит. но брать базы оттуда не хочет..

Offline stranger

  • Hero Member
  • *****
  • Posts: 922
  • Karma: +0/-0
    • http://
Sendmail с антиспамовой политикой
« Reply #3 on: April 02, 2006, 02:10:10 »
Ну bayes включается только в том случае, когда наберется достаточное количестово статистики как по спаму, так и неспаму. Точную цифру не помню - можно в доках посмотреть. Т.е. ему нужно скармливать на начальном этапе, как спам, так и неспам.
У меня стоит spamassassin версии 3.0.5  и в local.cf я прописал bayes_path - нормально работает.
Spamassassin кстати может хранить свои базы во внешних базах, например, в MySQL или Postgres. В доках есть описание и там есть возможность указать из под какого пользователя статистика будет считаться общей, но в моей версии эта возможность еще экспериментальная. Я пробовал хранить базу в PostgreSQL, так он мне чуть сервак не завалил - нагрузка была бешеная. С мусклом не пробовал ибо не хотелось вторую базу поднимать (postgres уже используется).


И еще насколько я помню spamassasin сам lделает проверку по ip и если не находит, то выставляет соотв. бал, который можно регулировать.

И еще ты писал, что у тебя стоит spamassain-milter - а ты его в sendmail.cf прописал?
Просто у меня все через procmail завязано и никакого милтера не нужно (в поставке RHEL он не идет).
[span style='font-family:Geneva'][span style='font-size:8pt;line-height:100%'][span style='color:gray']Единственное условие, от которого зависит успех, есть терпение.   Л.Н.Толстой
[/span][/span][/span]

Offline Unit

  • Global Moderator
  • Hero Member
  • *****
  • Posts: 1263
  • Karma: +9/-1
Sendmail с антиспамовой политикой
« Reply #4 on: April 02, 2006, 03:36:21 »
Bayes хочет минимум 200 писем ham и 200 писем spam, чтобы начать более-менее корректно работать.

Offline Krueger

  • Full Member
  • ***
  • Posts: 195
  • Karma: +0/-0
    • http://www.zaonsv.ru
Sendmail с антиспамовой политикой
« Reply #5 on: April 03, 2006, 09:18:27 »
Quote
Bayes хочет минимум 200 писем ham и 200 писем spam, чтобы начать более-менее корректно работать.
[snapback]8656[/snapback]
уже давно больше напихал:-( всё-равно не хочет..  может оно не знает где брать базы? а откуда он их вообще берёт не понимаю:-(
пока сделал проще.. баню все сети азиатско-океанского региона (китай, кореи, япония) основной поток спама идёт оттуда, а полезная почта там и не водилась..

Offline aer

  • Newbie
  • *
  • Posts: 11
  • Karma: +0/-0
Sendmail с антиспамовой политикой
« Reply #6 on: April 03, 2006, 10:01:50 »
Грейлистинг - хорошее решение. А после него уже можно и спамассассина.

Offline stranger

  • Hero Member
  • *****
  • Posts: 922
  • Karma: +0/-0
    • http://
Sendmail с антиспамовой политикой
« Reply #7 on: April 03, 2006, 11:11:10 »
Quote
уже давно больше напихал:-( всё-равно не хочет..  может оно не знает где брать базы? а откуда он их вообще берёт не понимаю:-(
пока сделал проще.. баню все сети азиатско-океанского региона (китай, кореи, япония) основной поток спама идёт оттуда, а полезная почта там и не водилась..
[snapback]8666[/snapback]
Для начала проверь у тебя spamassassin вообще обрабатывеат письма.
В заголовках писем появлюятся строки
X-Spam-Checker-Version:
X-Spam-Level:
X-Spam-Status:
Если нет, то скорее всего, что-то не донастроено...

Где он хранит базы...
Если в главном local.cf не прописано, то может нигде...
Есть вариант, что еще может быть прописано в настройках пользователя...
тогда они могут лежать в папке .spamassassin в домашней директории пользователя. Проверь на предмет настроек у пользователей...
[span style='font-family:Geneva'][span style='font-size:8pt;line-height:100%'][span style='color:gray']Единственное условие, от которого зависит успех, есть терпение.   Л.Н.Толстой
[/span][/span][/span]

Offline stranger

  • Hero Member
  • *****
  • Posts: 922
  • Karma: +0/-0
    • http://
Sendmail с антиспамовой политикой
« Reply #8 on: April 03, 2006, 11:11:46 »
Quote
Грейлистинг - хорошее решение. А после него уже можно и спамассассина.
[snapback]8668[/snapback]
Не очень хорошее решение, как я уже писал выше...
[span style='font-family:Geneva'][span style='font-size:8pt;line-height:100%'][span style='color:gray']Единственное условие, от которого зависит успех, есть терпение.   Л.Н.Толстой
[/span][/span][/span]

Offline aer

  • Newbie
  • *
  • Posts: 11
  • Karma: +0/-0
Sendmail с антиспамовой политикой
« Reply #9 on: April 03, 2006, 11:54:02 »
Какой смысл принимать письма от спамеров и мучиться с их распознаванием "спам/неспам".
1. письмо уже принято, значит трафик прошел
2. спамеры тоже не стоят на месте и спам идет довольно интеллектуальный - в тело письма вставляют случайные фразы из литературных произведений или наиболее банальные тексты обычных писем. Вот и научи ассассина распознать такой спам.
« Last Edit: April 03, 2006, 11:54:25 by aer »

Offline stranger

  • Hero Member
  • *****
  • Posts: 922
  • Karma: +0/-0
    • http://
Sendmail с антиспамовой политикой
« Reply #10 on: April 03, 2006, 16:44:46 »
Quote
Какой смысл принимать письма от спамеров и мучиться с их распознаванием "спам/неспам".
1. письмо уже принято, значит трафик прошел
2. спамеры тоже не стоят на месте и спам идет довольно интеллектуальный - в тело письма вставляют случайные фразы из литературных произведений или наиболее банальные тексты обычных писем. Вот и научи ассассина распознать такой спам.
[snapback]8674[/snapback]
По первому я говорил - черные листы не панацея, так как может произойти так, что по ошибке в него могут занести нужных провов. Преценденты есть.

Да спамеры не стоят, но bayes то же не так прост...
У меня отсеивает достаточно много - письма прорываются достаточно редко учитывая, что постоянно приходит их очень много...

У меня есть ящик на серваке, где антивирусная и антиспамерская защита практически не действует - так тут меня мыша спасает, так как там есть встроенная защита от спама - я ее обучил и теперь она режет. Спама сваливается около 100 писем в день из них проходит максимум 1-2 и то не каждый день...

Есть еще преценденты ложных срабатываний в мыше :(
« Last Edit: April 03, 2006, 16:46:11 by stranger »
[span style='font-family:Geneva'][span style='font-size:8pt;line-height:100%'][span style='color:gray']Единственное условие, от которого зависит успех, есть терпение.   Л.Н.Толстой
[/span][/span][/span]

Offline demiurg

  • Hero Member
  • *****
  • Posts: 1014
  • Karma: +0/-0
    • http://larin.tomsk.ru
Sendmail с антиспамовой политикой
« Reply #11 on: April 03, 2006, 19:00:55 »
Quote
Какой смысл принимать письма от спамеров и мучиться с их распознаванием "спам/неспам".
1. письмо уже принято, значит трафик прошел
2. спамеры тоже не стоят на месте и спам идет довольно интеллектуальный - в тело письма вставляют случайные фразы из литературных произведений или наиболее банальные тексты обычных писем. Вот и научи ассассина распознать такой спам.
[snapback]8674[/snapback]
По мимо трафика есть еще и личное время затрачиваемое на разгребание почтового ящика. Вот для меня оно важнее. Пусть уж лучше спам-фильтр это сделает за меня. Вот у меня фильтр в The Bat (на сервере нет возможности) за пол-года очень хорошо поднаторел в этом, ошибки пока были только в сторону пропуска спама, а не фильтрации нужных писем.

Offline Magnus

  • Full Member
  • ***
  • Posts: 132
  • Karma: +0/-0
    • http://
Sendmail с антиспамовой политикой
« Reply #12 on: April 03, 2006, 19:07:54 »
Quote
По мимо трафика есть еще и личное время затрачиваемое на разгребание почтового ящика. Вот для меня оно важнее. Пусть уж лучше спам-фильтр это сделает за меня. Вот у меня фильтр в The Bat (на сервере нет возможности) за пол-года очень хорошо поднаторел в этом, ошибки пока были только в сторону пропуска спама, а не фильтрации нужных писем.
[snapback]8698[/snapback]

как вы понимате, the bat не являетс я серверным приложением (я не имею в виду совершенно лажовый  бат как сервер ... при установке) ... речь идет именно о серверных фильтрах.
------------- Codito, ergo sum - "I code, therefore I am" --------------

Offline demiurg

  • Hero Member
  • *****
  • Posts: 1014
  • Karma: +0/-0
    • http://larin.tomsk.ru
Sendmail с антиспамовой политикой
« Reply #13 on: April 03, 2006, 21:15:06 »
Quote
как вы понимате, the bat не являетс я серверным приложением (я не имею в виду совершенно лажовый  бат как сервер ... при установке) ... речь идет именно о серверных фильтрах.
[snapback]8699[/snapback]
ну так у серверных фильтров точно такая же задача, если уж не удалось отфутболить спам сразу, то хотя бы помочь юзеру его отфильтровать.
Не всегда трафик имеет самое важное значение, иногда время для пользователей важнее. А Bat я привел как пример полезности фильтрации даже на стороне клиента, в "тундербёрде" тоже кстати такой фильтр есть, да и во многих других клиентах тоже. И их цель экономия не трафика, а времени пользователя.

Кроме того, если не все пользователи находятся внутри сети, то принятые, но убитые письма спама на сервере (набравшие очень много баллов) не будут генерировать трафик уже к пользователю.

Offline stranger

  • Hero Member
  • *****
  • Posts: 922
  • Karma: +0/-0
    • http://
Sendmail с антиспамовой политикой
« Reply #14 on: April 03, 2006, 23:28:48 »
Quote
как вы понимате, the bat не являетс я серверным приложением (я не имею в виду совершенно лажовый  бат как сервер ... при установке) ... речь идет именно о серверных фильтрах.
[snapback]8699[/snapback]
Но у меня на серваке spamassassin стоит и то же хорошо режет...
Но спам время от времени все равно быстро пробегаю по заголовкам, чтобы помотреть не попало ли что-нибудь нужное туда...
Просматривать все равно меньше приходится, так как явный спам в /dev/null уходит...
[span style='font-family:Geneva'][span style='font-size:8pt;line-height:100%'][span style='color:gray']Единственное условие, от которого зависит успех, есть терпение.   Л.Н.Толстой
[/span][/span][/span]

Offline Egor

  • Sr. Member
  • ****
  • Posts: 251
  • Karma: +0/-0
Sendmail с антиспамовой политикой
« Reply #15 on: April 04, 2006, 10:35:31 »
Quote
Не очень хорошее решение, как я уже писал выше...
[snapback]8671[/snapback]
Вам говорят про грейлистинг, а не про чёрные списки, это разные вещи.
Quote
По мимо трафика есть еще и личное время затрачиваемое на разгребание почтового ящика. Вот для меня оно важнее. Пусть уж лучше спам-фильтр это сделает за меня. Вот у меня фильтр в The Bat (на сервере нет возможности) за пол-года очень хорошо поднаторел в этом, ошибки пока были только в сторону пропуска спама, а не фильтрации нужных писем.
[snapback]8698[/snapback]
И этот ответ тоже без смысла, потому что aer писал про грейлистинг.

В общих чертах: при первой доставке сервер, осуществляющий грейлистинг, возвращает "Временная ошибка" и заносит доставляющий сервер в "серый" список. Нормальный сервер при такой ошибке кладёт письмо в очередь, а спамерский теряет. При повторной доставке занесённый в "серый" список сервер доставляет почту как обычно. У грейлистинга большой огромный недостаток -  задержка при первой доставке почты и сомнительная надёжность при получении почты от сложных почтовых систем.

Лучше бы все в сторону SPF глядели...
« Last Edit: April 04, 2006, 15:23:01 by Egor »

Offline Krueger

  • Full Member
  • ***
  • Posts: 195
  • Karma: +0/-0
    • http://www.zaonsv.ru
Sendmail с антиспамовой политикой
« Reply #16 on: April 04, 2006, 10:57:03 »
видимо допустил ошибку в строчке конфига, что оно ругалось на bayes_path. сейчас не ругается, поглядим, будет работать или нет..
Если байес не обучен, как следует, то он не будет вставлять соответствующую строку в заголовок провереного письма?

Offline stranger

  • Hero Member
  • *****
  • Posts: 922
  • Karma: +0/-0
    • http://
Sendmail с антиспамовой политикой
« Reply #17 on: April 04, 2006, 12:25:22 »
Quote
видимо допустил ошибку в строчке конфига, что оно ругалось на bayes_path. сейчас не ругается, поглядим, будет работать или нет..
Если байес не обучен, как следует, то он не будет вставлять соответствующую строку в заголовок провереного письма?
[snapback]8719[/snapback]
Нет он должен вставлять ее в любом случае, если spamassassin работет и не важно с bayes или без.
[span style='font-family:Geneva'][span style='font-size:8pt;line-height:100%'][span style='color:gray']Единственное условие, от которого зависит успех, есть терпение.   Л.Н.Толстой
[/span][/span][/span]

Offline aer

  • Newbie
  • *
  • Posts: 11
  • Karma: +0/-0
Sendmail с антиспамовой политикой
« Reply #18 on: April 04, 2006, 16:11:15 »
Как правильно отметил Егор, я говорил именно о грейлистинге (http://projects.puremagic.com/greylisting/), а не о черных списках. Технология не идеальная, уже хотя бы потому что чревата задержками в доставке письма, но достаточно эффективна чтобы мириться с ними. Тем более что достоверные узлы можно прописать в белом листе. Насчет возможных проблем при получении писем от сложных систем - да читал, но в своей практике не сталкивался.

Но, грейлистинг еще цветочки, по сравнению с теми штуками которые пишут умельцы для проверки наличия МХ записи домена-отправителя. Типа:
213.208.167.ххх does not like recipient.
Remote host said: 550 5.2.1 Mailbox unavailable. Sender domain must have a DNS MX record.
Giving up on 213.208.167.ххх.

Прямое нарушение RFC. но в войне правил нет :).

SPF - не панацея, и имеет смысл только в купе с остальным набором средств от спама.

Offline Krueger

  • Full Member
  • ***
  • Posts: 195
  • Karma: +0/-0
    • http://www.zaonsv.ru
Sendmail с антиспамовой политикой
« Reply #19 on: April 04, 2006, 16:35:19 »
Quote
Нет он должен вставлять ее в любом случае, если spamassassin работет и не важно с bayes или без.
[snapback]8724[/snapback]
нифига.. не вставляло про байес.. все остальные проверки были, а байеса не было, счас появился, чему я и рад :-)
не понимаю.. создаются в полльзовательских директориях байесовые базы, но спамассасин их не видит:-( когда указал ему путь к БД всё заработало.. в общем этот вопрос решён:-)