« previous next »
Pages: [1]

Author Topic: Чем лучше считать трафик в ляликсе  (Read 6491 times)

0 Members and 1 Guest are viewing this topic.

Offline stranger

  • Hero Member
  • *****
  • Posts: 922
  • Karma: +0/-0
    • http://
Чем лучше считать трафик в ляликсе
« on: October 13, 2005, 19:57:18 »
Есть сетка локальная запрятаная за линуксовым фаерволом, который маскарадит эту сеть...
Стоит редирект при обращении на www на squid (transparent proxy)

Все было раньше номально, но в этом месяце я заметил, что трафик сильно потребляется по счетчикам КЦ. Пытаюсь выяснить почему.
Выгрузил сначало ip_contrack_ftp чтобы по фтп можно было только через сквида ходить указав порт прокси.
Трафик все равно идет... Проверял по счетчикам КЦ.
Сегодня убрал маскарадинг, что бы присечь другой трафик из внутрений сети во внешнюю.
Все равно накапало много... Квота так скоро кончиться...

Причем sarg, парсящий логи сквида таких значений не выдавал...
Седня еще дневная статистика посчитается и я утром посмотрю...

Webalizer, парсящий логи httpd то же ничего сверхестественного не показывает - обращений к серверам не так уж много...

В RHEL ES нашел только iptraf для мониторинга сети, но уж больно с ним неудобно работать... Логи потом замучаешься просматривать. Но все равно поставлю его на сутки и посмотрю, что натикает...

Вопрос собственно в том, могет кто знает прогу, которая моглабы собирать всю статистику по входящим и исходящим пакетам по адресам и запихивать все это в базу (лучше всего postgres) для того, чтобы потом можно было достаточно легко посмотреть статистику, как общую так и по адресам?

Вопрос сейчас во времени, так как с таким расходам трафика вся кафедра останеться скоро без инета до конца месяца и почта соответственно то же умрет...

Logged
[span style='font-family:Geneva'][span style='font-size:8pt;line-height:100%'][span style='color:gray']Единственное условие, от которого зависит успех, есть терпение.   Л.Н.Толстой
[/span][/span][/span]

Offline demiurg

  • Hero Member
  • *****
  • Posts: 1014
  • Karma: +0/-0
    • http://larin.tomsk.ru
Чем лучше считать трафик в ляликсе
« Reply #1 on: October 13, 2005, 22:39:49 »
Quote
Вопрос собственно в том, могет кто знает прогу, которая моглабы собирать всю статистику по входящим и исходящим пакетам по адресам и запихивать все это в базу (лучше всего postgres) для того, чтобы потом можно было достаточно легко посмотреть статистику, как общую так и по адресам?

Вопрос сейчас во времени, так как с таким расходам трафика вся кафедра останеться скоро без инета до конца месяца и почта соответственно то же умрет...
[snapback]4758[/snapback]
Самый тупой это ulog -- подробности здесь например http://www.opennet.ru/base/net/ulog_traf.txt.html
есть еще htpp://www.netams.com, но я его не так и не решился собрать и настроить.
« Last Edit: October 13, 2005, 23:07:46 by demiurg »
Logged

Offline Dimmus

  • Sr. Member
  • ****
  • Posts: 438
  • Karma: +0/-0
    • http://dimmus.com
Чем лучше считать трафик в ляликсе
« Reply #2 on: October 13, 2005, 22:41:48 »
ipfm (возьми из портов BSD и собери, экземплы и доки прилагаются) -> потом переработка в постгрес из txt файлика и все  ;)
вот тут я все реализовал: http://bppp.net/traf/
« Last Edit: October 13, 2005, 22:43:49 by Dimmus »
Logged

Offline -ud-

  • Full Member
  • ***
  • Posts: 164
  • Karma: +4/-0
    • Undeground Developing
Чем лучше считать трафик в ляликсе
« Reply #3 on: October 13, 2005, 23:17:34 »
Quote
ipfm (возьми из портов BSD и собери, экземплы и доки прилагаются) -> потом переработка в постгрес из txt файлика и все  ;)
вот тут я все реализовал: http://bppp.net/traf/
[snapback]4766[/snapback]

нахрена  ipfw??? в iptables есть счотчики! e. g. iptables -vxnL
и для перла есть модуль могущий напрямую их снимать... ну а дальше дело техники хоть постгрес хоть что ...
« Last Edit: October 13, 2005, 23:18:49 by -ud- »
Logged
.

Offline stranger

  • Hero Member
  • *****
  • Posts: 922
  • Karma: +0/-0
    • http://
Чем лучше считать трафик в ляликсе
« Reply #4 on: October 13, 2005, 23:26:44 »
Quote
ipfm (возьми из портов BSD и собери, экземплы и доки прилагаются) -> потом переработка в постгрес из txt файлика и все  ;)
вот тут я все реализовал: http://bppp.net/traf/
[snapback]4766[/snapback]
Тут писать прогу придется разбора и запихивания в базу... Хотя на перле это не так уж долго, но сейчас время поджимает...

В принципе, если ничего быстро не найду, то примерно так и сделаю - напишу прогу, которая раздирает лог iptraf и в базу загоняет...

У меня правда маленько сложнее случай, так как сеть локальная (используется фэйковые адрема и маскарадинг, а не прсто перенапрвление, то тут нужно будет повозиться...

Ты трафик на каком интерфейсе считаешь, на внутреннем или внешнем?

Да и мне нужно оценить как и входящий страфик, так и исходящий трафик с сервера...
Logged
[span style='font-family:Geneva'][span style='font-size:8pt;line-height:100%'][span style='color:gray']Единственное условие, от которого зависит успех, есть терпение.   Л.Н.Толстой
[/span][/span][/span]

Offline stranger

  • Hero Member
  • *****
  • Posts: 922
  • Karma: +0/-0
    • http://
Чем лучше считать трафик в ляликсе
« Reply #5 on: October 13, 2005, 23:30:21 »
Quote
ipfm (возьми из портов BSD и собери, экземплы и доки прилагаются) -> потом переработка в постгрес из txt файлика и все  ;)
вот тут я все реализовал: http://bppp.net/traf/
[snapback]4766[/snapback]
Спасибо... Я сейчас посмотрю...

Кстати я тут пару анализаторов нашел с помощью freshmeat & sorceforge...
1. iptrafvol
2. tvc4
Они как я понял считают на основе iptables
3. tcap
пока не разобрался на основе чего работает, но вроде может статистику в постгрес складывать...
Logged
[span style='font-family:Geneva'][span style='font-size:8pt;line-height:100%'][span style='color:gray']Единственное условие, от которого зависит успех, есть терпение.   Л.Н.Толстой
[/span][/span][/span]

Offline stranger

  • Hero Member
  • *****
  • Posts: 922
  • Karma: +0/-0
    • http://
Чем лучше считать трафик в ляликсе
« Reply #6 on: October 13, 2005, 23:33:31 »
Quote
нахрена  ipfw??? в iptables есть счотчики! e. g. iptables -vxnL
и для перла есть модуль могущий напрямую их снимать... ну а дальше дело техники хоть постгрес хоть что ...
[snapback]4767[/snapback]
Это точно, но вроде счетчики iptables(ов) - это и есть просто счетчики, а мне нужна еще статистика по сайтам которые были посещены или которые обращались к серваку...
Logged
[span style='font-family:Geneva'][span style='font-size:8pt;line-height:100%'][span style='color:gray']Единственное условие, от которого зависит успех, есть терпение.   Л.Н.Толстой
[/span][/span][/span]

Offline -ud-

  • Full Member
  • ***
  • Posts: 164
  • Karma: +4/-0
    • Undeground Developing
Чем лучше считать трафик в ляликсе
« Reply #7 on: October 13, 2005, 23:50:36 »
наиболее реально считать по подсетям
Logged
.

Offline Dimmus

  • Sr. Member
  • ****
  • Posts: 438
  • Karma: +0/-0
    • http://dimmus.com
Чем лучше считать трафик в ляликсе
« Reply #8 on: October 15, 2005, 12:05:32 »
Quote
нахрена  ipfw??? в iptables есть счотчики! e. g. iptables -vxnL
и для перла есть модуль могущий напрямую их снимать... ну а дальше дело техники хоть постгрес хоть что ...
[snapback]4767[/snapback]
ud, ты опять травы вдарил? :jjosh: речь шла о ipFM! про iptables и все считалки, связанные с ним - было сказано уже выше.
Logged

Offline stranger

  • Hero Member
  • *****
  • Posts: 922
  • Karma: +0/-0
    • http://
Чем лучше считать трафик в ляликсе
« Reply #9 on: October 16, 2005, 14:04:38 »
Кажется я нашел, где собака порылась...
Грёбаные поисковый боты...
Сегодня на работе никого не было, а выкачено было к двум часам уже 42 метра...
Один бот вроде был гугловский, а другой не понятно чей...

Могет у кого есть стоп-лист ботов?
Чтобы их прикрыть...
Logged
[span style='font-family:Geneva'][span style='font-size:8pt;line-height:100%'][span style='color:gray']Единственное условие, от которого зависит успех, есть терпение.   Л.Н.Толстой
[/span][/span][/span]

Offline sam

  • Full Member
  • ***
  • Posts: 239
  • Karma: +0/-0
Чем лучше считать трафик в ляликсе
« Reply #10 on: October 16, 2005, 14:28:29 »
Quote
Могет у кого есть стоп-лист ботов?
Чтобы их прикрыть...
[snapback]4818[/snapback]
гугли на тему: файл robots.txt
его кладут в корень веб-сайта, им как раз должны поисковые боты оперировать
Logged

Offline stranger

  • Hero Member
  • *****
  • Posts: 922
  • Karma: +0/-0
    • http://
Чем лучше считать трафик в ляликсе
« Reply #11 on: October 16, 2005, 15:03:05 »
Quote
гугли на тему: файл robots.txt
его кладут в корень веб-сайта, им как раз должны поисковые боты оперировать
[snapback]4820[/snapback]
В том-то и дело, что у меня этот файл есть, но все равно гугловский бот и еще один ljxxxx.inktomisearch.com снимает инфу, причем последний при неудаче начинает ip-адреса менять... Мне надоело выискивать все адреса и поэтому я взял и отрубил сеть класса А... А он все долбиться и пытается подобрать адрес с которого он может достучаться...

Кстати robots у мну такой - он поидее все должен запрещать...

Code: [Select]
User-Agent: *
Disallow: /book
Disallow: /win
Disallow: /koi
Disallow: /iso
Disallow: /mac
Disallow: /alt
Disallow: /lat
Disallow: /LYNX
Disallow: /AQUARIUM
Disallow: /MPECHKIN/
Disallow: /rk
Logged
[span style='font-family:Geneva'][span style='font-size:8pt;line-height:100%'][span style='color:gray']Единственное условие, от которого зависит успех, есть терпение.   Л.Н.Толстой
[/span][/span][/span]

Offline Unit

  • Global Moderator
  • Hero Member
  • *****
  • Posts: 1263
  • Karma: +9/-1
Чем лучше считать трафик в ляликсе
« Reply #12 on: October 17, 2005, 02:59:37 »
Некоторые боты игнорируют robots.txt. Среди них msn-овские этим раньше были славны. Так что таких чисто в бан-лист сувать надо.
Logged

Offline sam

  • Full Member
  • ***
  • Posts: 239
  • Karma: +0/-0
Чем лучше считать трафик в ляликсе
« Reply #13 on: October 17, 2005, 08:22:24 »
Quote
Кстати robots у мну такой - он поидее все должен запрещать...

Code: [Select]
User-Agent: *
Disallow: /book
Disallow: /win
Disallow: /koi
Disallow: /iso
Disallow: /mac
Disallow: /alt
Disallow: /lat
Disallow: /LYNX
Disallow: /AQUARIUM
Disallow: /MPECHKIN/
Disallow: /rk
[snapback]4821[/snapback]
а без слеша на конце - это файлы? по-хорошему, у директорий должны слеши на конце быть
Logged
Pages: [1]
« previous next »