Apache Spark, Apache Kafka, Elasticsearch, Elastic Stack, C#, .NET Core, Apache Cassandra, Apache Airflow
W poprzednim wpisie przedstawiłem proces przygotowania danych dotyczących rejestracji pojazdów w Polsce. W tym artykule zobaczysz analizę danych za pomocą Kibana. Dowiesz się które miesiące to największy ruch w branży motoryzacyjnej, jakie województwa przodują w tym temacie i czy COVID miał jakiś większy wpływ. Jak wrzucić dane do Kibana? Dane z poprzedniego wpisu znajdziesz tutaj. …
Dzięki projektowi Otwarte Dane mamy do dyspozycji źródła udostępnione przez podmioty publiczne. W artykule przygotujemy i wyczyścimy Pojazdy zarejestrowane w Polsce w podziale na województwa za pomocą Python i Pandas. Dane źródłowe Do dyspozycji mamy dane w formatach csv i xlsx (Excel). Po wstępnej obserwacji widać następujące problemy: Wczytanie danych Z dwóch dostępnych formatów wybrałem …
Indeksowania danych do klastra Elastic Stack to dobry moment na wyłuskanie wartości z danych. W przypadku Threat Hunting‘u, dobrze przygotowane dane mogą znacznie przyśpieszyć proces wyszukiwania zagrożeń i anomalii. W artykule uprościmy wyszukiwanie procesów LOLBAS. Co to jest LOLBAS / LOLBIN? LOLBAS (Living Off The Land Binaries, Scripts and Libraries) to niezłośliwe skrypty, binarki i …
Wrzucenie alertów z Elastic Stack na Apache Kafka daje wiele nowych możliwości. Możemy wysłać notyfikacje na Discord. Wszelka automatyzacja i enrichment stoją otworem. W artykule spróbujemy to zrobić na darmowej licencji 🤫. Środowisko W tym przypadku wykorzystałem: Przygotowując ten artykuł korzystałem z gotowego klastra Elasticsearch, któy miałem pod ręką. Jeśl takiego nie masz, możesz skorzystać …
Wrzucenie alertów z Elastic Stack na Apache Kafka daje wiele nowych możliwości. Możemy wysłać notyfikacje na Discord. Wszelka automatyzacja i enrichment stoją otworem. W artykule spróbujemy to zrobić na darmowej licencji 🤫. Środowisko W tym przypadku wykorzystałem: Przygotowując ten artykuł korzystałem z gotowego klastra Elasticsearch, któy miałem pod ręką. Jeśl takiego nie masz, możesz skorzystać …
MITRE ATT&CK to źródło wiedzy o taktykach i technikach adwersarzy. Jest wspólnym językiem domenowym w świecie cyberbezpieczeństwa. Każda organizacja jest inna, korzysta z innych systemów operacyjnych i interesuje się nią inna grupa adwersarzy. W artykule wykorzystamy popularną Python’ową bibliotekę pandas i zrobimy prosty notebook. Psst! Link do repo na samym dole. MITRE ATT&CK? Po co …
MITRE ATT&CK to źródło wiedzy o taktykach i technikach adwersarzy. Jest wspólnym językiem domenowym w świecie cyberbezpieczeństwa. Każda organizacja jest inna, korzysta z innych systemów operacyjnych i interesuje się nią inna grupa adwersarzy. W artykule wykorzystamy popularną Python’ową bibliotekę pandas i zrobimy prosty notebook. Psst! Link do repo na samym dole. MITRE ATT&CK? Po co …
Systemy SIEM i inżynieria detekcji to nie tylko dane i reguły detekcji. Z czasem coraz większe znaczenie ma planowanie i procesy. W 10 punktach dowiesz się jak sprawnie podejść do detekcji w cybersecurity. 1. Po prostu zacznij Jeśli kiedykolwiek programowałeś/aś, na pewno kojarzysz inżynierię oprogramowania. W projektach możemy kierować się różnymi metodykami. Kiedyś na topie …
Systemy SIEM i inżynieria detekcji to nie tylko dane i reguły detekcji. Z czasem coraz większe znaczenie ma planowanie i procesy. W 10 punktach dowiesz się jak sprawnie podejść do detekcji w cybersecurity. 1. Po prostu zacznij Jeśli kiedykolwiek programowałeś/aś, na pewno kojarzysz inżynierię oprogramowania. W projektach możemy kierować się różnymi metodykami. Kiedyś na topie …
Phishing to oszutwo, w którym przestępca podszywa się pod inną osobę lub instytucję w celu wyłudzenia poufnych informacji lub pieniędzy. Zespół CERT Polska chroni nas przed niebezpiecznymi stronami publikując listy. Dostępne są w wielu formatach. Jeśli znajdziesz złośliwą stronę, możesz zgłosić to do CSIRT NASK. W artykule wykorzystamy wymieniony feed w SIEM Elastic Stack i spróbujemy coś wykryć …
Jak pewnie wiesz, na co dzień łączę Big Data i Cybersecurity. Czy taka fuzja ma sens? Niektórzy nie do końca rozumieli czemu przechodzę do CSIRT’u. Przecież to różne bajki. Oj byli w błędzie… wolumen danych jest ogromny. Jest też sporo wyzwań. Zapraszam Cię do mojego wywodu na ten temat 😉. Five V’s of big data …
ksqlDB to rozwiązanie z rodziny Apache Kafka i Confluent. Pozwala na wykorzystanie języka SQL do definiowania zadań przetwarzania strumieniowego. Wpis ten zaczyna serię o ksqlDB. Spróbujemy zrobić coś fajnego na podstawie danych z Packetbeat’a (monitoring ruchu sieciowego) i zobaczymy jak to dalej się rozwinie. Co to jest ksqlDB? ksqlDB (wcześniej ksql) to platforma do budowania …
Przetwarzanie danych wymaga softu, a soft trzeba zainstalować. Gdy skala rośnie konieczna jest automatyzacja za pomocą Ansible, Puppet, Chef, Terraform i jeszcze to innych wynalazków. W tym artykule dowiesz się jak wygenerować niezliczoną ilość certyfikatów za pomocą kilku kliknięć w Ansible. Co to jest Ansible? Otwierałeś/aś kiedyś 9 okienek w konsoli z opcją pisania jednocześnie …
Deduplikacja to W systemach rozproszonych występują tylko dwa trudne problemy: 2. Dostarczenie wiadomości dokładnie raz1. Gwarantowana kolejność wiadomości2. Dostarczenie wiadomości dokładnie raz. Inny mi słowy: w tym wpisie zajmiemy się deduplikacją zdarzeń 😁. Ostatnio miałem z tym problem w SIEM’ie, więc padło na Logstash’a. Dlaczego jest to istotne? Jak pewnie wiesz, świat nie jest idealny. …
Systemy są coraz większe, rozproszone i skomplikowane. W tym wpisie poruszona jest kwestia monitoringu. Dlaczego jest ważny i co możemy monitorować. A na co to komu potrzebne? Świadomość Nawet najdalszą podróż zaczyna się od pierwszego kroku. Lao-tzu Podjęcie tematu monitoringu możemy zacząć od dwóch prostych pytań: Co mogę monitorować? Co chcę monitorować? Pytania są bardzo …
Apache Spark, Apache Kafka, Elasticsearch, Elastic Stack, C#, .NET Core, Apache Cassandra, Apache Airflow
Na co dzień jestem (lub zdarza mi się bywać):
- inżynierem danych
- architektem rozwiązań big data
- programistą
- mężem
- ojcem
- amatorem kolarstwa i triathlonu
- trenerem (m.in. Elasticsearch)
- bloggerem (https://wiadrodanych.pl)
- nauczycielem (m.in Bazy Danych, Bazy NoSQL, Systemy Baz Danych na Wojskowej Akademii Technicznej)
- prelegentem
- napisałem też parę artykułów naukowych w tematach rozproszonej symulacji wirtualnej