Tomsk Sysadmins Forum

Unix => Администрирование => Topic started by: boombastic on October 06, 2015, 16:33:38

Title: Централизованный syslog для сотен девайсов
Post by: boombastic on October 06, 2015, 16:33:38
Коллеги, а кто-нибудь озадачивался на предмет создания/разработки/запуска системы/сервиса а-ля "централизованный syslog сервер" для нескольких сотен устройств.
Есть потребность запустить сервис способный хранить логи всех сетевых устройств (нескольких сотен) с учётом роста их-колва.

Возможно, это будет выглядеть как группы "клиентов", которые пишут в сислог-прокси, который,  в свою очередь, пишет на сислог-сервер "направления".
Ну а главный "логсервер" - это просто логика выборки данных из разных "направлений".
Ему просто говоришь "хочу логи с сервера или коммутатора такого-то за такое-то время."? и он лезет куда-то и что-то тебе отдает.

Пока склоняюсь в сторону syslog-ng с заданием несколько destination с разными БД на разных компах, и кастомный фронтенд делающий выборки из нужных мест....
Может у кого-то ещё уже была подобная задача?
Title: Re: Централизованный syslog для сотен девайсов
Post by: Gnomus on October 06, 2015, 16:41:02
погляди http://docs.fluentd.org/articles/free-alternative-to-splunk-by-fluentd
Title: Re: Централизованный syslog для сотен девайсов
Post by: Snelius on October 06, 2015, 16:50:30
Я решал такую задачу для нескольких десятков серваков. Принцип такой же что и постом выше, только в качестве логера logstash + его forwarders. Работает довольно сносно.
Title: Re: Централизованный syslog для сотен девайсов
Post by: Sib on October 06, 2015, 17:05:33
Попробуй greylog
Title: Re: Централизованный syslog для сотен девайсов
Post by: Concord on October 06, 2015, 18:49:18
Zabbix уже давно позволят собирать syslog. При желании модно прикрутить сбор не только с сераеров, но и с простых железок куда агент не ставится через rsyslog.
Плюс опять же можно отслеживать логи тригерами и уведомлять админов о проблемах оперативно по почте или смс.
Title: Re: Централизованный syslog для сотен девайсов
Post by: boombastic on October 26, 2015, 19:48:05
Коллеги, продолжаем тему.
Поставил graylog2. Теперь пытаюсь его уронить. Не падает сцуко.
Поднял два INPUT: syslog-udp + syslog-tcp
и с другой машины пытаюсь сгенерить такой поток трафика чтобы серверу стало плохо.

syslog-udp: 50 000 000 syslog сообщений в течении 2 минут
(loggen -r 50000000 -D -I 120 10.5.47.27 2514)
load-avg вырастает до 10. Память уходит до 120mb free (из 6gb) но диски iowait меньше нуля.
130000-140000 сообщений/сек.

syslog-tcp: 50 000 000 syslog сообщений в течении 2 минут
(loggen -r 50000000 -S -I 120 10.5.47.27 2514)
Всё то же самое, тока выср#л он всего 80000 -90000 сообщений/сек. Больше не растёт.

Сеть 10G.
Не могу понять где я упираюсь. Почему упираюсь только в проц а не в винты.
Кто-нибудь пробовал "ушатать" эту систему у себя?