Kafka - Topic Replication

Replication factor dans les topics Kafka

• Les topics doivent avoir un replication factor > 1 (souvant 2 ou 3)
• Ce replication factor indique le nombre de copies de la donnée dans le cluster
• Si un broker venait à être tomber, un autre broker servirait la donnée

Exemple, si l’on perd le broker 2, les broker 1 & 3 font fournir la donnée

Concept de Leader de partition

• A un instant T, seulement un broker peut être leader pour une partition
• Les producers peuvent seulement envoyer la donnée au broker qui est leader de la partition
• Les autres brokers vont répliquer la partition en respectant le replication factor
• Chaque partition a seulement un leader et de multiple ISR (in-sync replica)

Comportement par défaut du producer & consumer par rapport aux leaders

• Les Producers peuvent seulement écrire sur le broker leader de la partition

• Par défaut, les Consumers vont lire les données depuis le broker leader de la partition

• Depuis la version Kafka v2.4, il est possible de configurer les Consumers pour lire depuis un replica qui serait plus proche
• Cela pour améliorer la latence, et réduire les coûts réseaux dans le cadre du cloud