Dolce Vita

Hallo,

ich arbeite bei einem Unternehmen in der IT-Abteilung bin da das erste Mal mit Apache Kafka in Berührung gekommen.
Jetzt sind ja einige auf Urlaub bei uns, sodass ich mehr oder weniger alleine da stehe und ein paar Aufgaben in den nächsten Tagen und Wochen bezüglich eines Projektes zu erledigen habe.
Gerade bei Apache Kafka brauche ich noch einige Hilfe, um damit richtig arbeiten zu können.
Beispielsweise muss ich jetzt Daten zwischen zwei unterschiedlichen Kafka Clustern replizieren (Kafka arbeitet ja mit diesen sogenannten Clustern).

Weiß jemand, wie ich das machen kann?

Hey!

Apache Kafka ist ein super Tool, um Datenströme zu verarbeiten. Einerseits kann Kafka Datenströme speichern und verarbeiten.
Weiters bietet Apache Kafka noch die Möglichkeit, über eine Schnittstelle die Datenströme an Drittsysteme zu laden und exportieren.
Bei Kafka arbeitet man mit den sogenannten Kafka-Clustern, genau. Um Datentströme zwischen zwei Kafka-Clustern zu replizieren (innerhalb oder zwischen Rechenzentren), benötigt man MirrorMaker.
MirrorMaker (aktuell MirrorMaker 2 für Apache Kafka) übernimmt die Replikation der Datenströme zwischen Kafka-Clustern.
Dabei nimmt es die Daten eines Kafka-Quell-Clusters und schreibt es in einen Kafka-Ziel-Cluster. So kann die Verfügbarkeit und auch Konsistenz sehr gut sichergestellt werden.
Managen kannst du MirrorMaker bspw. über Aiven für MirrorMaker. Ist sehr robust, flexibel und sichert auch die Skalierbarkeit der Replikationen.

Hoffe, dass ich helfen konnte.