Energy Logserver – nowy poziom integracji

Energy Logserver, jako narzędzie do zarządzania dużą ilością danych, zawsze będzie się starał integrować z jak największa ilością urządzeń i danych. Przedstawiamy nowe rozwiązanie, które pozwala odpytywać z poziomu OP5 Monitora i Nagiosa o dokumenty Elasticsearch. Wykorzystane mogą zostać zapisane obiekty i dokumenty.
Dzięki temu, możemy pozyskać jeszcze bardziej szczegółowe dane i uczynić monitoring infrastruktury IT bardziej spójnym i czytelnym.

Co więcej, skrypty wykorzystane do integracji są wystawione na licencji Apache-2.0. Zachęcamy do korzystania z nadzieją, że poprawi to jakość monitoringu.

Poniżej szczegóły projektu, oraz linki:
https://github.com/emca-it/check-elasticquery
https://github.com/emca-it/check-elasticquery/blob/master/check_elasticquery_6x.pl
https://github.com/emca-it/check-elasticquery/blob/master/check_elasticquery_7x.pl

This plugin check Elasticsearch query total documents. It is aimed to work with Energy Logserver, OP5 Log Analytics and is supposed to work with opensource Elasticsearch and x-pack.

Dependencies for Centos 7:
# yum install perl-Monitoring-Plugin perl-libwww-perl perl-LWP-Protocol-https perl-JSON perl-String-Escape perl-Data-Dumper

Usage
$ ./check_elasticquery.pl -U|--url= -i|--index=
[ -q|--query= ]
[ -S|--search= ]
[ -T|--timerange= ]
[--timefield=

Usage examples
Total documents in ‘beats*’ index for latest 24 hours. Latest 24 hours is default time range.

./check_elasticquery.pl -U 'http://user:password@localhost:9200' -i 'beats*'

Execute saved search named protection for latest 15 minutes. By default it checks @timestamp field, you can change it in –timefield option.

./check_elasticquery.pl -U 'http://user:password@localhost:9200' -i 'beats*' -S 'protection' -T 'now:now-15m'

As above plus show one latest document.

./check_elasticquery.pl -U 'http://user:password@localhost:9200' -i 'beats*' -S 'protection' -T 'now:now-15m' -D 1

As above plus filter output to selected fields.

./check_elasticquery.pl -U 'http://user:password@localhost:9200' -i 'beats*' -S 'protection' -T 'now:now-15m' -D 1 -f message,timestamp

As above plus limit output fields value to 100 characters.

./check_elasticquery.pl -U 'http://user:password@localhost:9200' -i 'beats*' -S 'protection' -T 'now:now-15m' -D 1 -f message,timestamp -l 100

Execute lucene query.

./check_elasticquery.pl -U 'http://user:password@localhost:9200' -i 'beats*' -q 'beat.name:example.com' -T 'now:now-15m' -D 1 -f message,timestamp

Execute json query. Time range option wouldn’t work. You should define time range in query.

./check_elasticquery.pl -U 'http://user:password@localhost:9200' -i 'beats*' -j -q ' { "size": 0, "query": { "bool": { "must": [ { "query_string": { "query": "task:\"Special Logon\"", "analyze_wildcard": true, "default_field": "*" } }, { "range": { "@timestamp": { "gte": "now-1d/d", "lte": "now/d" } } } ] } } } '

Energy Logserver na SEMAFOR 2020

Energy Logserver na SEMAFOR 2020

Energy Logserver kontynuuje tradycję sprzed 2 lat i tym razem również pojawimy się na SEMAFOR jako jeden z mecenasów imprezy. Zapraszamy wszystkich do wzięcia udziały w naszym wykładzie, który poprowadzi CEO EMCA, Artur Bicki. Temat, z którym się zmierzymy w tym roku, to SIEM z Elasticsearch.

Wykład poświęcony będzie zagadnieniom budowy platformy SIEM w oparciu o komponenty projektów wokoło Elasticsearch. Na bazie systemu Energy Logserver zostaną zaprezentowane funkcjonalności analizy i obsługi zdarzeń security. Na żywym przykładzie przedstawimy możliwości analizy oraz korelacji zdarzeń pochodzących z logów i ruchu sieciowego oraz zarządzania wykrytymi incydentami.

Spotkajmy się 19 marca o godzinie 12:10.

 

SEMAFOR jest jedną z największych konferencji w Polsce poświęconych cyberbezpieczeństwie. Od lat jest to miejsce, w którym przedstawiane są najnowocześniejsze i najlepsze rozwiązania z dziedzin security IT.  Uczestnicy nie tylko mogą zdobyć niezwykle cenną wiedzę prosto od światowych ekspertów, ale również zawiązać partnerskie i biznesowe relacje.

Dwudniowe wydarzenie odbędzie się w Warszawie 19-20 marca. Start o 8 rano!

https://www.computerworld.pl/konferencja/semafor#program

6.1.8 Nowa wersja Energy Logserver!

6.1.8 Nowa wersja Energy Logserver

Najnowsza aktualizacja Energy Logserver wprowadza ulepszenia do istniejących mechanizmów, ale dodaje szereg nowych narzędzi.
W pełni kompatybilny z wersją 6.x elasticsearch, Energy Logserver wprowadza między innymi:
Logtrail - narzędzie do analizy i czytania logów usług prosto z plików systemu, które są aktualizowane na bieżąco. Przejrzysty interfejs wraz z kolorowaniem kodu i podświetlaniem przeszukiwania.
Cerebro - graficzny interfejs do pracy z api elasticsearch bez konieczności logowania się do konsoli systemowej, dostępny z poziomu przeglądarki.
Reputacje IP - mechanizm weryfikowania adresacji IP w bazach reputacji IP, wspomagający w analizie ruchu sieciowego. Bazy są automatycznie aktualizowane.
Zbiór poprawionych i nowych wizualizacji oraz dashboardów, dostępnych dla użytkownika.

Version 6.1.8
Added

Enhancements in Netflow support
Logtrail feature for covering all system components logs [kibana]
Cerebro Management tool support [kibana]
Automation for Bad IP reputation lists
Default Role integrated dynamically when working with AD accounts [elasticsearch-auth]
Explained additional logging class for elasticsearch in log4j
Detailed restore process of functional indexes [elasticsearch-auth]
AD/LDAP/SSO API - new endpoint /role-mapping/_reload [elasticsearch-auth]
License API - new endpoint /license/_reload [elasticsearch-auth]
Better radius integration with NAS-Identifier and NAS-IP-Address [elasticsearch-auth]
Skimmer components updated to 1.0.8
Backup script updated - utils/small_backup.sh
Java environment updated to branch v11
Network graph/corellation - new vizualization type [kibana]

CHANGED

bugfix: CSV Export not working due to wrong binary definition
bugfix: Error when trying to delete alert rule with an apostrophe in the name
bugfix: Reading of configuration variables in the Config tab [kibana]

Wyciek danych ponad miliarda ludzi (PDL / OXY)

16 października 2019 dwóch ekspertów cyberbezpieczeństwa – Bob Diachenko i Vinny Troia odkryli niezabezpieczone środowisko elasticsearch. Niestety takie sytuacje zdarzają się często. Elasticsearch nie posiada w sobie żadnych zabezpieczeń, a umożliwienie do niego dostępu z Internetu zawsze jest kiepskim pomysłem.

Okazało się, że elasticsearch trzymał w indeksach gigantyczne ilości spersonalizowanych danych, żeby być dokładnym – 4 terabajty danych. Firma, która zarządzała węzełem elasticsearcha nie jest znana, ale udało się znaleźć firmy, do których dane należą, bądź należały. Są to People Data Labs (PDL) i OxyData.io.

Większość danych była niezwykle cenna, gdyż treść była wzbogacona. Oznacza to, że dane przechowywane w indexach, w którymś momencie wcześniej poddane zostały korelacji z pomniejszymi elementami lub źródłami, tworząc w ten sposób jeden dokument ze szczegółowymi informacjami. Taki wzbogacony dokument staje się wówczas towarem sprzedawanym przez firmy takie jak PDL i OxyData. Dane w dokumentach zawierały takie informacje, jak: adresy e-mail, numery telefonów, dane osobowe, profile głównie z LinkedIn i Facebooka. Konkretne liczby z wycieku poniżej:

  • PDL
    • 1,2 miliarda unikalnych danych o ludziach
    • 650 milionów adresów e-mail
  • OxyData
    • 380 milionów danych, głównie pochodzących z LinkedIn

Pytanie jednak brzmi – skad mamy mieć pewność, że dane są prawdziwe i aktualne? Na szczęście PDL w swojej ofercie umieszcza 1000 zapytań do swojej bazy danych miesięcznie – za darmo. Korzystając z takiej możliwości, zapytania zostały wysłane do PDL, a rezultaty pokrywały się w 100% z danymi z indeksów elasticsearcha. Dane były identyczne.

Firmy PDL i OxyData zaprzeczają jakoby doszło do ataku hakerskiego lub wycieku danych z ich systemów. Środowisko, do którego dostęp udało się uzystać prawdopodobnie należy do któregoś z klientów, który dane zakupił. Będąc jednak szczerym, trudno mówić o ataku hakerskim, kiedy wszystko co trzeba zrobić, to wpisać w przeglądarce http://35.199.58.125:9200.

Oczywiście adres ten nie jest już dostępny 🙂

Właśnie dlatego nigdy nie należy używać niezabezpieczonego środowiska elasticsearch do przetwarzania danych produkcyjnych. Należy zaznaczyć, że winne nie jest oprogramowanie, ale brak jego zabezpieczeń, np. takich, jakie oferuje Energy Logserver.

Energy Logserver wkracza na rynek Bliskiego Wschodu

Po czterech latach od rozpoczęcia pierwszego wdrożenia, Energy Logserver nabrał rozpędu, który przekroczył nawet nasze oczekiwania. Po tegorocznym dużym sukcesie na jednym z największych wydarzeń w Polsce dotyczących cyberbezpieczeństwa “Semafor”, potwierdziło się że nasz produkt dojrzał, by konkurować na rynku globalnym.

Pojawiliśmy się na jednym z największych eventów na świecie z cyberbezpieczeństwa i IoT – Gisec 2019 w Dubaju, prezentując najnowsze moduły SIEM i Network Security wspomagane przez Sztuczną Inteligencję.

Dobrze przyjęty Energy Logserver, cieszył się dużym zainteresowaniem liderów z całego świata w dziedzinach telekomu, finansów, transportu czy przemysłu paliwowego, dzięki czemu udało się nawiązać nowe partnerstwa i pozyskać nowych Klientów z obszaru Bliskiego Wschodu, Indii i Azji.

Poniżej kilka zdjęć z wydarzenia.