Daten zwischen Kafka-Clustern replizieren - wie?




Schule, Ausbildung, Studium, Bewerbungen, Probleme am Arbeitsplatz, etc.

Daten zwischen Kafka-Clustern replizieren - wie?

Beitragvon Naddel » Mi 7. Okt 2020, 11:41

Hallo,

ich arbeite bei einem Unternehmen in der IT-Abteilung bin da das erste Mal mit Apache Kafka in Berührung gekommen.
Jetzt sind ja einige auf Urlaub bei uns, sodass ich mehr oder weniger alleine da stehe und ein paar Aufgaben in den nächsten Tagen und Wochen bezüglich eines Projektes zu erledigen habe.
Gerade bei Apache Kafka brauche ich noch einige Hilfe, um damit richtig arbeiten zu können.
Beispielsweise muss ich jetzt Daten zwischen zwei unterschiedlichen Kafka Clustern replizieren (Kafka arbeitet ja mit diesen sogenannten Clustern).

Weiß jemand, wie ich das machen kann?
Naddel
 
Beiträge: 60
Registriert: Mo 25. Feb 2019, 13:27
Geschlecht: weiblich

von Anzeige » Mi 7. Okt 2020, 11:41

Anzeige
 

Re: Daten zwischen Kafka-Clustern replizieren - wie?

Beitragvon maroni » Mi 7. Okt 2020, 13:31

Hey!

Apache Kafka ist ein super Tool, um Datenströme zu verarbeiten. Einerseits kann Kafka Datenströme speichern und verarbeiten.
Weiters bietet Apache Kafka noch die Möglichkeit, über eine Schnittstelle die Datenströme an Drittsysteme zu laden und exportieren.
Bei Kafka arbeitet man mit den sogenannten Kafka-Clustern, genau. Um Datentströme zwischen zwei Kafka-Clustern zu replizieren (innerhalb oder zwischen Rechenzentren), benötigt man MirrorMaker.
MirrorMaker (aktuell MirrorMaker 2 für Apache Kafka) übernimmt die Replikation der Datenströme zwischen Kafka-Clustern.
Dabei nimmt es die Daten eines Kafka-Quell-Clusters und schreibt es in einen Kafka-Ziel-Cluster. So kann die Verfügbarkeit und auch Konsistenz sehr gut sichergestellt werden.
Managen kannst du MirrorMaker bspw. über Aiven für MirrorMaker. Ist sehr robust, flexibel und sichert auch die Skalierbarkeit der Replikationen.

Hoffe, dass ich helfen konnte.
maroni
 
Beiträge: 77
Registriert: Mo 19. Nov 2018, 13:44
Geschlecht: weiblich



Ähnliche Beiträge


Zurück zu Bildung, Job & Karriere

Wer ist online?

0 Mitglieder

cron