Author Topic: Централизованный syslog для сотен девайсов  (Read 4671 times)

0 Members and 1 Guest are viewing this topic.

Offline boombastic

  • Hero Member
  • *****
  • Posts: 582
  • Karma: +9/-0
Коллеги, а кто-нибудь озадачивался на предмет создания/разработки/запуска системы/сервиса а-ля "централизованный syslog сервер" для нескольких сотен устройств.
Есть потребность запустить сервис способный хранить логи всех сетевых устройств (нескольких сотен) с учётом роста их-колва.

Возможно, это будет выглядеть как группы "клиентов", которые пишут в сислог-прокси, который,  в свою очередь, пишет на сислог-сервер "направления".
Ну а главный "логсервер" - это просто логика выборки данных из разных "направлений".
Ему просто говоришь "хочу логи с сервера или коммутатора такого-то за такое-то время."? и он лезет куда-то и что-то тебе отдает.

Пока склоняюсь в сторону syslog-ng с заданием несколько destination с разными БД на разных компах, и кастомный фронтенд делающий выборки из нужных мест....
Может у кого-то ещё уже была подобная задача?

Offline Gnomus

  • Administrator
  • Sr. Member
  • *****
  • Posts: 339
  • Karma: +4/-0
    • http://gnomus.ru

Offline Snelius

  • Newbie
  • *
  • Posts: 20
  • Karma: +1/-0
Я решал такую задачу для нескольких десятков серваков. Принцип такой же что и постом выше, только в качестве логера logstash + его forwarders. Работает довольно сносно.

Offline Sib

  • Newbie
  • *
  • Posts: 28
  • Karma: +0/-1
Попробуй greylog

Offline Concord

  • Newbie
  • *
  • Posts: 46
  • Karma: +2/-3
Zabbix уже давно позволят собирать syslog. При желании модно прикрутить сбор не только с сераеров, но и с простых железок куда агент не ставится через rsyslog.
Плюс опять же можно отслеживать логи тригерами и уведомлять админов о проблемах оперативно по почте или смс.
« Last Edit: October 06, 2015, 18:55:32 by Concord »

Offline boombastic

  • Hero Member
  • *****
  • Posts: 582
  • Karma: +9/-0
Коллеги, продолжаем тему.
Поставил graylog2. Теперь пытаюсь его уронить. Не падает сцуко.
Поднял два INPUT: syslog-udp + syslog-tcp
и с другой машины пытаюсь сгенерить такой поток трафика чтобы серверу стало плохо.

syslog-udp: 50 000 000 syslog сообщений в течении 2 минут
(loggen -r 50000000 -D -I 120 10.5.47.27 2514)
load-avg вырастает до 10. Память уходит до 120mb free (из 6gb) но диски iowait меньше нуля.
130000-140000 сообщений/сек.

syslog-tcp: 50 000 000 syslog сообщений в течении 2 минут
(loggen -r 50000000 -S -I 120 10.5.47.27 2514)
Всё то же самое, тока выср#л он всего 80000 -90000 сообщений/сек. Больше не растёт.

Сеть 10G.
Не могу понять где я упираюсь. Почему упираюсь только в проц а не в винты.
Кто-нибудь пробовал "ушатать" эту систему у себя?