Kafka

Apache Kafka est une plateforme distribuée de streaming de données open source .
Le but est de découpler l’ingestion et la consommation.

Pourquoi Kafka

Créé par Linkedin, passé en opensource, maintenu par Confluent, IBM, Cloudera.
C’est une architecture distribuée, résiliente et taulérante aux pannes,
Scalibility horizontale:

• Peut scale à des centaines de brokers
• Peut scale à des millions de messages par secondes

Haute performance (latence à moins de 10ms) / temps réel

Use cases

• Message système
• Tracking d’activité
• Collecte de métriques
• Collecte de logs
• Processing de streams
• Découplage de systèmes
• Intégration avec des technologies Big Data (Spark, Storm, Hadoop…..)
• Micro services Pub/Sub

Big Picture