У меня в ELK попадает большое количество логов с windows серверов и некоторые из них пересылаются на почту. Но есть один недостаток, в самих логах нет информации о времени, когда произошло какое-либо событие. Можно конечно на почту отправлять вместе с логом события и поле @timestamp , но оно не очень то удобочитаемое, да еще и в UTC. Само поле @timestamp не изменяемое и информация в нем хранится только в определенном формате (пример 2017-04-13T15:15:32.405Z ). Поэтому воспользуемся языком программирования ruby и добавим в logstash фильтр.

После настройки двухфакторной аутентификации в домене на Windows pc, решил проверить а можно ли JaCarta использовать и для аутентификации в Linux среде. В качестве примера буду проводить тестирование на пользователи root, хотя по хорошему ему вообще надо закрыть удаленный доступ.

Итак имеем:

Открыть статью

Curator это мощная утилита, написанная на python, для работы с elasticsearch.
К сожалению, в самом elasticsearch нет механизма для удаления страх данных, поэтому приходится их удалять в ручную (curl -XDELETE…) или писать скрипты для автоматизации. Но зачем писать свой велосипед, если на просторах интернета уже давно есть решение — curator!

Открыть статью

Если установить дополнительный плагин для logstash, то можно автоматически отправлять из него email по определенным событиям. Отправка осуществляется на третий стадии прохождения информации через logstash — output.

Открыть статью

После перехода на ELK 5.0 стало невозможно фильтровать, сортировать данные по многим полям. Выдавалась следующая ошибка:

Discover: Fielddata is disabled on text fields by default. Set fielddata=true on [host] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory.

Открыть статью

Всем стек ELK хорош, но вот не хватает мне обратной связи от него, а именно уведомлений на почту о каких-то аномальных событиях. Можно конечно в конфиг Logstash заложить отправку письма по определенному событию, но на этом всем возможности и заканчиваются. А хочется, например, получить уведомления, если вырос объем логов от какого-то устройства/сервиса.

Пароль является не очень надежным средством защиты. Очень часто используются простые, легко подбираемые пароли или же пользователи не особо следят за сохранностью своих паролей (раздают коллегам, пишут на бумажках и т.д.). В Microsoft уже давно реализована технология, позволяющая для входа в систему использовать SmartCard, т.е. аутентифицироваться в системе по сертификату. Но не обязательно использовать непосредственно смарт-карты, ведь для них нужны еще и считыватели, поэтому проще их заменить на usb токены. Они позволят реализовать двухфакторную аутентификацию: первый фактор — это пароль от токена, второй фактор — это сертификат на токене. Далее на примере usb токена JaCarta и домена Windows я расскажу как внедрить этот механизм аутентификации.

Открыть статью

Winlogbeat это служба, которая отправляет Windows логи на сервер ELK.
Распространяется она в виде PowerShell скрипта, скачать можно отсюда.
Распаковываем скачанный архив и переходим к запуску скрипта.. для это воспользуемся PowerShellом.

PS C:\Users\Administrator> cd ‘C:\Winlogbeat’
PS C:\Winlogbeat> PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-winlogbeat.ps1

(такая команда позволит запустить не подписанный скрипт).

Открыть статью

В логе Logstash.
message=>»UDP listener died», :exception=>#<SocketError: bind: name or service not known>
Скорее всего вы пытаетесь слушать порт в диапазоне с 1 по 1024, это привилегированные порты, для их использования нужны соответствующие разрешения, более подробней можете посмотреть здесь.

Открыть статью