от ·Нет комментариев
ELK7.9

Спустя несколько лет использования ELK стека пришёл к вот такой схеме небольшого кластера.

  1. ELK01 — Elasticsearch (Data+Master), Logstash
  2. ELK02 — Elasticsearch (Data+Master), Logstash
  3. ELK03 — Elasticsearch (Master Voiting), Kibana

Плюс недавно сюда еще добавился сервер с filebeat, через который я прогоняю логи с Cisco ASA, т.к. в новых версиях именно в него добавили функционал парсинга. Но об этом в отдельном посте.
В качестве ОС я как всегда использую Centos 8 в минимальной конфигурации. Основные первоначальные настройки опущу, так же не забывайте про настройки firewall и права на каталоги/файлы.

Читать далее

от ·Нет комментариев
Иногда возникает задача повесить ACL на входящий трафик из Site to Site VPN туннеля. И в Cisco это сделали очень не тривиальным способом… 
Эту задачу можно решить двумя способами:
1) Повесить ACL на интерфейс, но тогда правила затронут всё, что есть на интерфейсе. В моем случае это множество VPN туннелей.
2) Настроить VPN-filter на конкретном VPN туннеле.

Читать далее

от ·Нет комментариев

В процессе работы часто приходится отправлять различную конфиденциальную информацию коллегам или партнерам, например пароль для доступа к какой-то системе. Отправлять пароль просто по почте не безопасно, т.к. он там и останется и не факт, что при первом заходе на сервер его поменяют. Для этих целей существует сервис, который генерирует временную ссылку с информацией, которую мы хотим передать.
Ребята из ONE-TIME SECRET выложили свои наработки в открытый доступ, что бы каждый мог установить их сервер у себя в сети, собственно как я и поступил.

Установку производил на Centos 7 minimal. Как всегда перед началом, обновил и доустановил нужные мне пакеты:

# yum -y update
# yum -y install epel-release
# yum -y install net-tools vim mc wget unzip bash-completion telnet

Читать далее

от ·2 комментария
У меня в ELK попадает большое количество логов с windows серверов и некоторые из них пересылаются на почту. Но есть один недостаток, в самих логах нет информации о времени, когда произошло какое-либо событие. Можно конечно на почту отправлять вместе с логом события и поле @timestamp , но оно не очень то удобочитаемое, да еще и в UTC. Само поле @timestamp не изменяемое и информация в нем хранится только в определенном формате (пример 2017-04-13T15:15:32.405Z ). Поэтому воспользуемся языком программирования ruby и добавим в logstash фильтр.

от ·Нет комментариев

После настройки двухфакторной аутентификации в домене на Windows pc, решил проверить а можно ли JaCarta использовать и для аутентификации в Linux среде. В качестве примера буду проводить тестирование на пользователи root, хотя по хорошему ему вообще надо закрыть удаленный доступ.

Итак имеем:

Читать далее

от ·Нет комментариев
Curator это мощная утилита, написанная на python, для работы с elasticsearch.
К сожалению, в самом elasticsearch нет механизма для удаления страх данных, поэтому приходится их удалять в ручную (curl -XDELETE…) или писать скрипты для автоматизации. Но зачем писать свой велосипед, если на просторах интернета уже давно есть решение — curator!

Читать далее

от ·Нет комментариев
Если установить дополнительный плагин для logstash, то можно автоматически отправлять из него email по определенным событиям. Отправка осуществляется на третий стадии прохождения информации через logstash — output.

Читать далее

от ·Нет комментариев

После перехода на ELK 5.0 стало невозможно фильтровать, сортировать данные по многим полям. Выдавалась следующая ошибка:

Discover: Fielddata is disabled on text fields by default. Set fielddata=true on [host] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory.

Читать далее

от ·Нет комментариев
Всем стек ELK хорош, но вот не хватает мне обратной связи от него, а именно уведомлений на почту о каких-то аномальных событиях. Можно конечно в конфиг Logstash заложить отправку письма по определенному событию, но на этом всем возможности и заканчиваются. А хочется, например, получить уведомления, если вырос объем логов от какого-то устройства/сервиса.