Tomsk Sysadmins Forum

Unix => Администрирование => Topic started by: stranger on October 13, 2005, 19:57:18

Title: Чем лучше считать трафик в ляликсе
Post by: stranger on October 13, 2005, 19:57:18
Есть сетка локальная запрятаная за линуксовым фаерволом, который маскарадит эту сеть...
Стоит редирект при обращении на www на squid (transparent proxy)

Все было раньше номально, но в этом месяце я заметил, что трафик сильно потребляется по счетчикам КЦ. Пытаюсь выяснить почему.
Выгрузил сначало ip_contrack_ftp чтобы по фтп можно было только через сквида ходить указав порт прокси.
Трафик все равно идет... Проверял по счетчикам КЦ.
Сегодня убрал маскарадинг, что бы присечь другой трафик из внутрений сети во внешнюю.
Все равно накапало много... Квота так скоро кончиться...

Причем sarg, парсящий логи сквида таких значений не выдавал...
Седня еще дневная статистика посчитается и я утром посмотрю...

Webalizer, парсящий логи httpd то же ничего сверхестественного не показывает - обращений к серверам не так уж много...

В RHEL ES нашел только iptraf для мониторинга сети, но уж больно с ним неудобно работать... Логи потом замучаешься просматривать. Но все равно поставлю его на сутки и посмотрю, что натикает...

Вопрос собственно в том, могет кто знает прогу, которая моглабы собирать всю статистику по входящим и исходящим пакетам по адресам и запихивать все это в базу (лучше всего postgres) для того, чтобы потом можно было достаточно легко посмотреть статистику, как общую так и по адресам?

Вопрос сейчас во времени, так как с таким расходам трафика вся кафедра останеться скоро без инета до конца месяца и почта соответственно то же умрет...

Title: Чем лучше считать трафик в ляликсе
Post by: demiurg on October 13, 2005, 22:39:49
Quote
Вопрос собственно в том, могет кто знает прогу, которая моглабы собирать всю статистику по входящим и исходящим пакетам по адресам и запихивать все это в базу (лучше всего postgres) для того, чтобы потом можно было достаточно легко посмотреть статистику, как общую так и по адресам?

Вопрос сейчас во времени, так как с таким расходам трафика вся кафедра останеться скоро без инета до конца месяца и почта соответственно то же умрет...
[snapback]4758[/snapback]
Самый тупой это ulog -- подробности здесь например http://www.opennet.ru/base/net/ulog_traf.txt.html (http://www.opennet.ru/base/net/ulog_traf.txt.html)
есть еще htpp://www.netams.com, но я его не так и не решился собрать и настроить.
Title: Чем лучше считать трафик в ляликсе
Post by: Dimmus on October 13, 2005, 22:41:48
ipfm (возьми из портов BSD и собери, экземплы и доки прилагаются) -> потом переработка в постгрес из txt файлика и все  ;)
вот тут я все реализовал: http://bppp.net/traf/ (http://bppp.net/traf/)
Title: Чем лучше считать трафик в ляликсе
Post by: -ud- on October 13, 2005, 23:17:34
Quote
ipfm (возьми из портов BSD и собери, экземплы и доки прилагаются) -> потом переработка в постгрес из txt файлика и все  ;)
вот тут я все реализовал: http://bppp.net/traf/ (http://bppp.net/traf/)
[snapback]4766[/snapback]

нахрена  ipfw??? в iptables есть счотчики! e. g. iptables -vxnL
и для перла есть модуль могущий напрямую их снимать... ну а дальше дело техники хоть постгрес хоть что ...
Title: Чем лучше считать трафик в ляликсе
Post by: stranger on October 13, 2005, 23:26:44
Quote
ipfm (возьми из портов BSD и собери, экземплы и доки прилагаются) -> потом переработка в постгрес из txt файлика и все  ;)
вот тут я все реализовал: http://bppp.net/traf/ (http://bppp.net/traf/)
[snapback]4766[/snapback]
Тут писать прогу придется разбора и запихивания в базу... Хотя на перле это не так уж долго, но сейчас время поджимает...

В принципе, если ничего быстро не найду, то примерно так и сделаю - напишу прогу, которая раздирает лог iptraf и в базу загоняет...

У меня правда маленько сложнее случай, так как сеть локальная (используется фэйковые адрема и маскарадинг, а не прсто перенапрвление, то тут нужно будет повозиться...

Ты трафик на каком интерфейсе считаешь, на внутреннем или внешнем?

Да и мне нужно оценить как и входящий страфик, так и исходящий трафик с сервера...
Title: Чем лучше считать трафик в ляликсе
Post by: stranger on October 13, 2005, 23:30:21
Quote
ipfm (возьми из портов BSD и собери, экземплы и доки прилагаются) -> потом переработка в постгрес из txt файлика и все  ;)
вот тут я все реализовал: http://bppp.net/traf/ (http://bppp.net/traf/)
[snapback]4766[/snapback]
Спасибо... Я сейчас посмотрю...

Кстати я тут пару анализаторов нашел с помощью freshmeat & sorceforge...
1. iptrafvol
2. tvc4
Они как я понял считают на основе iptables
3. tcap
пока не разобрался на основе чего работает, но вроде может статистику в постгрес складывать...
Title: Чем лучше считать трафик в ляликсе
Post by: stranger on October 13, 2005, 23:33:31
Quote
нахрена  ipfw??? в iptables есть счотчики! e. g. iptables -vxnL
и для перла есть модуль могущий напрямую их снимать... ну а дальше дело техники хоть постгрес хоть что ...
[snapback]4767[/snapback]
Это точно, но вроде счетчики iptables(ов) - это и есть просто счетчики, а мне нужна еще статистика по сайтам которые были посещены или которые обращались к серваку...
Title: Чем лучше считать трафик в ляликсе
Post by: -ud- on October 13, 2005, 23:50:36
наиболее реально считать по подсетям
Title: Чем лучше считать трафик в ляликсе
Post by: Dimmus on October 15, 2005, 12:05:32
Quote
нахрена  ipfw??? в iptables есть счотчики! e. g. iptables -vxnL
и для перла есть модуль могущий напрямую их снимать... ну а дальше дело техники хоть постгрес хоть что ...
[snapback]4767[/snapback]
ud, ты опять травы вдарил? :jjosh: речь шла о ipFM! про iptables и все считалки, связанные с ним - было сказано уже выше.
Title: Чем лучше считать трафик в ляликсе
Post by: stranger on October 16, 2005, 14:04:38
Кажется я нашел, где собака порылась...
Грёбаные поисковый боты...
Сегодня на работе никого не было, а выкачено было к двум часам уже 42 метра...
Один бот вроде был гугловский, а другой не понятно чей...

Могет у кого есть стоп-лист ботов?
Чтобы их прикрыть...
Title: Чем лучше считать трафик в ляликсе
Post by: sam on October 16, 2005, 14:28:29
Quote
Могет у кого есть стоп-лист ботов?
Чтобы их прикрыть...
[snapback]4818[/snapback]
гугли на тему: файл robots.txt
его кладут в корень веб-сайта, им как раз должны поисковые боты оперировать
Title: Чем лучше считать трафик в ляликсе
Post by: stranger on October 16, 2005, 15:03:05
Quote
гугли на тему: файл robots.txt
его кладут в корень веб-сайта, им как раз должны поисковые боты оперировать
[snapback]4820[/snapback]
В том-то и дело, что у меня этот файл есть, но все равно гугловский бот и еще один ljxxxx.inktomisearch.com снимает инфу, причем последний при неудаче начинает ip-адреса менять... Мне надоело выискивать все адреса и поэтому я взял и отрубил сеть класса А... А он все долбиться и пытается подобрать адрес с которого он может достучаться...

Кстати robots у мну такой - он поидее все должен запрещать...

Code: [Select]
User-Agent: *
Disallow: /book
Disallow: /win
Disallow: /koi
Disallow: /iso
Disallow: /mac
Disallow: /alt
Disallow: /lat
Disallow: /LYNX
Disallow: /AQUARIUM
Disallow: /MPECHKIN/
Disallow: /rk
Title: Чем лучше считать трафик в ляликсе
Post by: Unit on October 17, 2005, 02:59:37
Некоторые боты игнорируют robots.txt. Среди них msn-овские этим раньше были славны. Так что таких чисто в бан-лист сувать надо.
Title: Чем лучше считать трафик в ляликсе
Post by: sam on October 17, 2005, 08:22:24
Quote
Кстати robots у мну такой - он поидее все должен запрещать...

Code: [Select]
User-Agent: *
Disallow: /book
Disallow: /win
Disallow: /koi
Disallow: /iso
Disallow: /mac
Disallow: /alt
Disallow: /lat
Disallow: /LYNX
Disallow: /AQUARIUM
Disallow: /MPECHKIN/
Disallow: /rk
[snapback]4821[/snapback]
а без слеша на конце - это файлы? по-хорошему, у директорий должны слеши на конце быть