Kafka - Brokers & Topics
Alasta 4 Février 2025 kafka kafka opensource
Description : Description des brokers et des topics dans Kafka.
Kafka Brokers
- Un cluster Kafka est composé de multiple brokers (serveurs)
- Chaque broker est identifié par un ID (nombre)
- Chaque broker contient un certain nombre de partitions par topic
- Après une connexion à n’importe quel broker (appelé un bootstrap server) du cluster, le client peut se connecter à n’importe quel broker du cluster (mécanique intrinsec au client Kafka)
- Il est bien de commencer par 3 brokers dans un cluster, il n’est pas rare d’avoir plus de 100 brokers dans un gros cluster
Brokers & Topics
Un topic est découpé en partitions qui sont distribuées sur différents brokers.
La découverte des Brokers
- Chaque broker Kafka est aussi appelé un “bootstrap server”
- Le client se connecte à un seul broker, et le client va connaître tous les brokers du cluster et comment s’y connecter
- Chaque broker connait tous les brokers, topics & partitions (métédata)
