Kod: EAS-026
Czas trwania: 24 godzin
Czas trwania: 24 godzin
Opis szkolenia
To szkolenie pomoże Ci właściwie zrozumieć architekturę i funkcjonowanie Apache Kafka, rozproszonej platformy do strumieniowego przesyłania zdarzeń typu open source. Wdrożymy klientów opartych na Javie i REST dla dostępu do klastra Kafka, omówimy konfigurację klastra i klienta, aby osiągnąć kompromis między opóźnieniem, przepustowością, trwałością i dostępnością. Rozważymy również ustawienie wieloklastrowe, ponieważ kluczowe jest osiągnięcie odporności na awarie i promowanie skalowalności.Kafka Connect umożliwia nam rozwiązywanie typowych zadań, takich jak przenoszenie danych między Kafką a systemami zewnętrznymi (DBMS, system plików itp.). Korzystanie ze strumieni Kafka jest zalecanym sposobem tworzenia szybkich i odpornych rozwiązań przetwarzania strumieniowego.
Plan szkolenia
Przegląd- Czym jest Kafka?
- Przypadki użycia Kafki i przypadki przeciwdziałania użyciu
- Kafka kontra baza danych
- Kafka a kolejka wiadomości
- Architektura pamięci Kafka: brokerzy, tematy, partycje, segmenty, repliki
- Architektura klastra Kafka: Zookeeper, przypisywanie partycji, liderzy i obserwatorzy replik, repliki zsynchronizowane
- Klienci Kafki i API
Konfiguracja klastra
- Sprawdź swoją wiedzę: Konfigurowanie klastra Kafka za pomocą Dockera
- Instalacja zespołu zookeeper
- Instalacja Kafka Brokers
Tworzenie aplikacji w Javie
- Kafka Producer API: podstawy
- Sprawdź swoją wiedzę: Producent pojedynczej wiadomości
- Sprawdź swoją wiedzę: Producent wiadomości grupowych
- Sprawdź swoją wiedzę: Producent grupowy z wyraźnym partycjonowaniem
- Sprawdź swoją wiedzę: Producent wiadomości bez klucza
- Kafka Consumer API: podstawy, grupy konsumentów
- Sprawdź swoją wiedzę: Pojedynczy konsument
- Sprawdź swoją wiedzę: Wielu konsumentów w tej samej grupie
- Zaawansowana produkcja i konsumpcja: grupowanie, ponawianie prób, idempotencja, transakcje, ponowne równoważenie grupy konsumentów
- Sprawdź swoją wiedzę: Producent bez dozowania i ponownych prób
- Sprawdź swoją wiedzę: Idempotentny producent
- Sprawdź swoją wiedzę: Producent transakcyjny
- Sprawdź swoją wiedzę: Producent transakcyjny i konsument
- Sprawdź swoją wiedzę: Transakcyjna konsumpcja-kopiowanie-produkcja
Dostęp zewnętrzny do Klastra Kafka
- Bezpieczeństwo: SSL, SASL, Kerberos
- Confluent REST Proxy: Produkcja i używanie plików JSON, Binary i Avro
- Sprawdź swoją wiedzę: Dostęp przez proxy REST
- Konfluentny rejestr schematów
- Sprawdź swoją wiedzę: Użyj serwera proxy REST z rejestrem schematów
Operacje i monitorowanie
- Cele wydajności i sposoby realizacji
- Zookeeper: Konfiguracja, tryby samodzielne i kworum, CLI
- Zarządzanie i monitorowanie klastra
- Sprawdź swoją wiedzę: Monitorowanie Kafki za pomocą Prometeusza
Wiele klastrów
- Dlaczego Multi Klastry w Kafce?
- MirrorMakerDostęp
- Sprawdź swoją wiedzę: Używanie MirrorMakera do synchronizacji klastrów
- Replikator Confluence
Kafka Connect
- Architektura Kafka Connect
- Zlewozmywaki Kafka Connect
- Sprawdź swoją wiedzę: Złącze ujścia FileStream
- Sprawdź swoją wiedzę: Złącze zlewu JDBC
- Źródła Kafki Connect
- Sprawdź swoją wiedzę: Złącze źródłowe FileStream
- Sprawdź swoją wiedzę: Złącze źródłowe JDBC
Podstawy strumieni Kafki
- Strumienie Kafki: Strumienie DSL, Processor API, StreamBuilder, Tworzenie i wdrażanie topologii
- Demo: Implementacja topologii strumieni
- Demo: Utwórz aplikację Streams za pomocą StreamBuilder
- Wewnętrzne elementy strumieni Kafki: wielowątkowość, wiele instancji i zadań
- Schematy w Kafce: Serializacja, JSON Schema, Avro Schema, Schema Registry, Schema Evolution
- Demo: Korzystanie ze schematu JSON
- Przetwarzanie stanowe: magazyn stanowy, tolerancja błędów dla magazynów stanowych
- KTable: Aktualizuj strumienie, buforowanie, współczynnik emisji, agregacja
- Okienkowanie w strumieniach: ekstraktory znaczników czasu, przewracanie, przeskakiwanie i okna sesji
- Połączenia strumieniowe: przesyłaj strumieniowo za pomocą strumienia, KTable za pomocą KTable, przesyłaj strumieniowo za pomocą KTable
Cele
- Zrozumienie architektury Kafki
- Zapoznanie się z wdrażaniem i konfiguracją Kafki
- Korzystanie z dostępu do Kafki . opartego na REST
- Tworzenie klientów Kafka Java API
- Projektowanie architektury wieloklastrowej
- Korzystanie z narzędzi Kafka Connect
- Tworzenie programów Kafka Streams
Grupa docelowa
- Deweloperzy oprogramowania
- Architekci oprogramowania
- Inżynierowie danych
Wymagania
- Doświadczenie programistyczne w Javie ponad 3 miesiące