Kako instalirati Apache Kafka u CentOS/RHEL 7

Apache Kafka je moćan mehanizam za razmjenu poruka, koji se široko koristi u BigData projektima i životnom ciklusu Analitike podataka. To je platforma otvorenog koda za izgradnju cevovoda za strujanje podataka u realnom vremenu. To je distribuirana platforma za objavljivanje i pretplatu sa pouzdanošću, skalabilnosti i izdržljivošću.

Možemo imati Kafku kao samostalnu ili kao klaster. Kafka pohranjuje podatke striminga i može se kategorizirati kao Teme. Tema će imati više particija tako da može rukovati proizvoljnom količinom podataka. Također, možemo imati više replika za otpornost na greške kao što imamo u HDFS. U Kafka klasteru, broker je komponenta koja pohranjuje objavljene podatke.

Zookeeper je obavezna usluga za vođenje Kafka klastera, jer se koristi za upravljanje koordinacijom Kafka brokera. Zookeeper igra ključnu ulogu između proizvođača i potrošača gdje je odgovoran za održavanje stanja svih brokera.

U ovom članku ćemo objasniti kako instalirati Apache Kafka u jednom čvoru CentOS 7 ili RHEL 7.

Instaliranje Apache Kafke u CentOS 7

1. Prvo morate instalirati Javu na svoj sistem da biste pokrenuli Apache Kafka bez ikakvih grešaka. Dakle, instalirajte zadanu dostupnu verziju Jave koristeći sljedeću yum komandu i provjerite verziju Jave kao što je prikazano.

yum -y install java-1.8.0-openjdk
java -version

2. Zatim preuzmite najnoviju stabilnu verziju Apache Kafke sa službene web stranice ili koristite sljedeću naredbu wget da je direktno preuzmete i raspakirate.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. Kreirajte simboličku vezu za kafka paket, zatim dodajte stazu Kafka okruženja u datoteku .bash_profile i zatim je inicijalizirajte kao što je prikazano.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. Zatim pokrenite Zookeeper, koji dolazi ugrađen u paket Kafka. Pošto se radi o klasteru jednog čvora, možete pokrenuti zookeeper sa zadanim svojstvima.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Potvrdite da li je čuvar zoološkog vrta dostupan ili ne jednostavnim telnetom na zookeeper port 2181.

telnet localhost 2181

6. Pokrenite Kafku sa svojim zadanim svojstvima.

kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Potvrdite da li je Kafka dostupna ili ne jednostavnim telnetom na Kafka port 9092

telnet localhost 9092

8. Zatim kreirajte uzorak teme.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Navedite kreiranu temu.

kafka-topics.sh --zookeeper localhost:2181 --list

Zaključak

U ovom članku smo vidjeli kako instalirati Kafka klaster s jednim čvorom u CentOS 7. Videćemo kako da instalirate Kafka klaster sa više čvorova u sledećem članku.