Dans ce tutoriel, nous expliquerons comment installer Apache Kafka sur CentOS.
Comprenons d’abord ce qu’est Apache Kafka ? Avez-vous déjà pensé à comment utiliserez-vous les données stockées ou comment transférerez-vous vos données d’un endroit à un autre ? Ça a l’air intéressant? Ouais! C’est ce qu’on appelle le streaming. Autrefois, il était difficile de faire passer le message à de nombreux utilisateurs. Il était difficile de traiter des données en temps réel. Par conséquent, LinkedIn a eu l’idée en 2011 de traiter les données en temps réel, c’est-à-dire d’introduire KAFKA et de faire ensuite un don à Apache Software Foundation (ASF).
Fondamentalement, Kafka est un système de messagerie, c’est-à-dire qu’il envoie le message du producteur au consommateur. Vous pourriez être confus au sujet de ce qu’est le streaming ? Fondamentalement, le streaming publie les données de certaines sources telles que les blogs ou les capteurs en temps réel sur votre cluster et vous permet également de traiter les données. Comprenons mieux ce système de messagerie.
Architecture
Vous avez des producteurs qui génèrent toutes les données. Par exemple, les éditeurs sur YouTube qui réalisent des vidéos et les publient sur Youtube sont considérés comme des producteurs. Désormais, ces données générées sont stockées sous forme de flux dans le cluster Kafka. Ce cluster Kafka peut être considéré comme un groupe de courtiers . Que font alors les consommateurs ? Fondamentalement, les consommateurs génèrent une demande pour consommer les données du cluster . Les consommateurs peuvent être considérés comme des abonnés ou des téléspectateurs de Youtube qui visionnent la vidéo. J’espère que vous avez compris le concept.
Apache Kafka est utilisé par de nombreuses entreprises de premier plan telles que Twitter, LinkedIn, Netflix, Mozilla, Oracle, etc. C’est donc une compétence précieuse à avoir. Apprenons à installer Apache Kafka sur CentOS.
Étapes Pour Installer Apache Kafka Sur CentOS
Voyons comment installer Apache Kafka sur CentOS. Fondamentalement, Kafka est écrit en Scala et Java. Par conséquent, Kafka fonctionne sur Java. Je suppose que Java est déjà installé sur votre système. Sinon, suivez la première moitié de ce tutoriel pour installer Java. Continuez ensuite plus loin.
Rafraîchir Les Paquets
La première étape consiste à mettre à jour les référentiels. La mise à jour des référentiels indique que nous actualisons les packages. Nous utiliserons la commande yum update pour mettre à jour les packages dans CentOS. La commande pour cela est la suivante :
sudo miam mise à jour
Cette commande mettra à jour tous les référentiels.
Téléchargement et extraction du fichier d’installation pour installer Apache Kafka sur CentOS
Après avoir actualisé les référentiels, pour installer Apache Kafka sur CentOS, vous devez télécharger le package. Téléchargez le fichier tar à l’aide de la commande wget . Fondamentalement, la commande wget est utilisée pour télécharger les fichiers à partir des serveurs Web en utilisant
wget
Lister les dossiers
Vous pouvez voir le fichier tar Kafka dans l’image ci-dessus. Utilisez la commande ls pour répertorier tous les dossiers.
Après avoir téléchargé avec succès le fichier, vous devez extraire le fichier à l’aide de la commande tar . La commande pour cela est la suivante :
tar -xzf kafka_2.12-2.4.1.tgz
Extraire le fichier tar
Une fois extrait, modifiez son répertoire à l’aide de la commande mv comme indiqué ci-dessous :
mv kafka_2.12-2.4.1 /usr/local/kafka
Déplacer vers le répertoire Kafka
Définir Les Fichiers De Configuration
Après avoir extrait et modifié le répertoire avec succès, l’étape suivante consiste à effectuer certaines configurations dans les fichiers systemd afin qu’il puisse gérer les gardiens de zoo et l’état de Kafka. Vous pourriez être confus au sujet de ce qu’est Zookeeper ? Fondamentalement, Zookeeper est utilisé pour gérer les courtiers. En termes simples, Zookeeper est un gestionnaire qui sait quelle clé appartient à quelle pièce. Ici, les messages sont désignés par des clés. J’espère que vous l’avez compris. Cependant, la création de fichiers aiderait à gérer les services Kafka, c’est-à-dire à démarrer et à arrêter. La commande pour cela est la suivante :
vim /etc/systemd/system/zookeeper.service
Commande pour ouvrir le service Zookeeper
Ajoutez le code suivant dans l’éditeur de texte :
Description=Serveur Apache Zookeeper Documentation= Requiert=network.target remote-fs.target Après=network.target remote-fs.target Type=simple ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh Redémarrer=sur-anormal WantedBy=multi-user.target
Ajouter le contenu dans Zookeeper
N’oubliez pas de sauvegarder le fichier. Appuyez sur la touche Échap ou Ctrl + C pour quitter le mode Insertion suivi de « :wq! » pour enregistrer les modifications et quitter l’éditeur.
Après cela, vous devez créer le fichier Kafka.service en utilisant la même commande :
vim /etc/systemd/system/kafka.service
Ouvrez le fichier de service Kafka
Ajoutez le code suivant. Changez le chemin de JAVA_HOME. C’est peut-être différent chez toi.
Description=Serveur Apache Kafka Documentation= Requiert=zookeeper.service Type=simple Environnement="JAVA_HOME=/usr/lib/jvm/jre-11-openjdk" ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh WantedBy=multi-user.target
Enregistrez-le en utilisant la commande comme indiqué ci-dessus. Par conséquent, vous avez réussi les configurations.
Démarrez Le Serveur Zookeeper
J’ai déjà expliqué le Zookeeper dans la section ci-dessus. J’espère que vous avez compris. Ici, nous devons démarrer le serveur Zookeeper. Le fait de ce système de messagerie est que le producteur ne connaît pas l’identité des consommateurs. Par exemple, les éditeurs sur YouTube ne savent pas qui sont les téléspectateurs de sa vidéo. Il est inconnu des abonnés. Voici le gardien du zoo. Il envoie le message au consommateur particulier.
Avant d’utiliser la commande, modifiez le chemin. Regardons la commande ci-dessous pour démarrer le serveur :
cd /usr/local/kafka bin/zookeeper-server-start.sh config/zookeeper.properties
Démarrer le service Zookeeper
Démarrer Le Serveur Kafka
Après avoir complètement installé Apache Kafka sur CentOS, démarrez le serveur Zookeeper, l’étape suivante consiste à démarrer le serveur Kafka. Cela définira la relation entre le producteur et le consommateur. Jetons un œil à la commande ci-dessous :
bin/kafka-server-start.sh config/server.properties
Démarrer le service Kafka
Commande Pour Créer Un Sujet Dans Kafka
Jusqu’à présent, nous avons démarré avec succès les deux serveurs. Comme indiqué ci-dessus, Kafka est un courtier de messages qui envoie le message du producteur au consommateur. Avez-vous déjà réfléchi à la façon dont cela fonctionne? Il crée simplement un sujet, fournit les partitions et attribue un numéro de décalage. Les consommateurs consomment via un numéro de décalage. Jetons un coup d’œil à la commande pour créer le sujet.
bin/kafka-topics.sh -create -bootstrap-server localhost:9092 -replication-factor 1 -partitions 1 -topic test
Créer un sujet
Vous pouvez changer le nom du sujet. J’ai pris « test » comme exemple.
Si vous souhaitez afficher la liste des sujets, utilisez la commande suivante pour le faire :
bin/kafka-topics.sh -list -bootstrap-server localhost:9092
Exécuter la liste des sujets
Il imprimera la liste des sujets que vous avez créés.
Définir La Relation Entre Le Producteur Et Le Consommateur
Que se passe-t-il dans le messager ? L’expéditeur envoie le message qui est reçu à une autre extrémité. Alors qu’est-ce que c’est ? C’est le lien qui s’établit entre le producteur et le consommateur. Idem ici, nous allons établir le lien entre le producteur et le consommateur. Les messages envoyés du côté producteur seront affichés du côté consommateur.
Pour cela, vous devez démarrer le producteur et le consommateur. Regardons la commande ci-dessous pour démarrer le producteur
bin/kafka-console-producer.sh -broker-list localhost:9092 -topic test
Démarrer le producteur
Sélectionnez le nouveau terminal pour démarrer le service consommateur et tapez la commande suivante :
> bin/kafka-console-consumer.sh -bootstrap-server localhost:9092 -topic test -from-beginning
Démarrer le consommateur
Afficher Les Messages Sur Le Site Producteur-Consommateur
Une fois la connexion établie avec succès, lorsque vous taperez le message sur le site du producteur, il sera reçu du côté du consommateur. Mais n’oubliez pas que les commandes doivent s’exécuter dans des terminaux différents. Même lorsque vous démarrez les services Kafka, les services producteur et consommateur doivent se trouver dans des terminaux différents.
Regardons les images suivantes ci-dessous :
Envoyer un message du producteur au consommateur
Ce message est généré par le producteur sur le site du producteur. Il sera reçu avec succès du côté du consommateur. Regardons l’image ci-dessous :
Message reçu du producteur
Par conséquent, vous avez réussi à établir la connexion entre le producteur et le consommateur.
