Kako instalirati i konfigurirati Cloudera Manager na CentOS/RHEL 7 - dio 3


U ovom članku smo opisali korak po korak proces instaliranja Cloudera Manager prema industrijskim praksama. U drugom dijelu smo već prošli kroz Cloudera preduslove, provjerite jesu li svi serveri savršeno pripremljeni.

Zahtjevi

  • Najbolje prakse za implementaciju Hadoop servera na CentOS/RHEL 7 – 1. dio
  • Postavljanje Hadoop preduvjeta i sigurnosno jačanje – 2. dio

Ovdje ćemo imati klaster od 5 čvorova gdje su 2 mastera i 3 radnika. Koristio sam 5 AWS EC2 instanci da demonstriram proceduru instalacije. Imenovao sam tih 5 servera kao ispod.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

Cloudera Manager je administrativni i nadzorni alat za cijeli CDH. Mi administratori to obično nazivamo alatom za upravljanje Cloudera Hadoop. Možemo implementirati, nadgledati, kontrolirati i unositi promjene u konfiguraciju pomoću ovog alata. Ovo je veoma bitno za upravljanje cijelim klasterom.

Ispod su važne upotrebe Cloudera Managera.

  • Postavite i konfigurišite Hadoop klastere na automatizovan način.
  • Pratite zdravlje klastera
  • Konfigurišite upozorenja
  • Rješavanje problema
  • Izvještavanje
  • Izrada izvještaja o korištenju klastera
  • Dinamičko konfiguriranje resursa

Korak 1: Instaliranje Apache web servera na CentOS

Koristićemo master1 kao web server za Cloudera repozitorije. Također, Cloudera Manager je WebUI, tako da moramo imati instaliran Apache. Slijedite korake u nastavku da biste instalirali apache web server.

yum -y install httpd

Jednom instaliran httpd, pokrenite ga i omogućite kako bi se pokrenuo pri pokretanju.

systemctl start httpd
systemctl enable httpd

Nakon pokretanja httpd-a, provjerite status.

systemctl status httpd

Nakon pokretanja httpd-a, otvorite pretraživač u vašem lokalnom sistemu i zalijepite IP adresu master1 u traku za pretraživanje, trebali biste dobiti ovu probnu stranicu kako biste bili sigurni da httpd radi dobro.

Korak 2: Konfigurirajte lokalni DNS da razriješi IP i ime hosta

Moramo imati DNS server ili konfigurirati /etc/hosts da riješimo IP i ime hosta. Ovdje konfiguriramo /etc/hosts, ali u realnom vremenu, namjenski DNS server će biti tu za proizvodno okruženje.

Slijedite korake u nastavku da unesete sve svoje servere u /etc/hosts.

vi /etc/hosts

Ovo bi trebalo da bude konfigurisano na svim serverima.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

Korak 3: Konfigurirajte SSH prijavu bez lozinke

Cloudera Manager se instalira na master1 u ovoj demonstraciji. Moramo konfigurirati ssh bez lozinke sa master1 na sve ostale čvorove. Zato što će Cloudera Manager koristiti ssh za komunikaciju sa svim ostalim čvorovima za instaliranje paketa.

Slijedite korake u nastavku da konfigurirate ssh bez lozinke sa master1 na sve preostale servere. Imat ćemo korisnika „tecmint“ da nastavimo dalje.

Kreirajte korisnički „tecmint“ sva 4 servera koristeći useradd komandu kao što je prikazano.

useradd -m tecmint

Da biste dali root privilegiju korisniku ‘tecmint’, dodajte red ispod u datoteku /etc/sudoers. Možete dodati ovu liniju ispod root-a kao što je prikazano na snimku ekrana.

tecmint   ALL=(ALL)    ALL

Prebacite se na korisnika ‘tecmint’ i kreirajte ssh ključ u master1 koristeći naredbu ispod.

sudo su tecmint
ssh-keygen

Sada kopirajte kreirani ključ na sva 4 servera koristeći naredbu ssh-copy-id kao što je prikazano.

ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
ssh-copy-id -i ~/.ssh/id_rsa.pub [email 

Sada biste trebali biti u mogućnosti ssh-om sa master1 na preostale sve servere bez lozinke kao što je prikazano.

ssh master2
ssh worker1
ssh worker2
ssh worker3

Korak 4: Instalacija i konfiguracija Cloudera Managera

Možemo koristiti dobavljač (Cloudera) spremište da instaliramo sve pakete koristeći alate za upravljanje paketima u RHEL/CentOS. U realnom vremenu, kreiranje vlastitog spremišta je najbolja praksa jer možda nemamo pristup internetu na proizvodnim serverima.

Ovdje ćemo instalirati Cloudera Manager 6.3.1 izdanje. Pošto ćemo koristiti master1 kao repo server, preuzimamo pakete na dole navedenoj putanji.

Kreirajte dolje navedene direktorije na master1 serveru.

sudo mkdir -p /var/www/html/cloudera-repos/cm6

Možemo koristiti wget alat za preuzimanje paketa preko http. Dakle, instalirajte wget koristeći naredbu ispod.

sudo yum -y install wget

Zatim preuzmite tar datoteku Cloudera Manager koristeći sljedeću naredbu wget.

wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

Izvucite tar fajl u /var/www/html/cloudera-repos/cm6, već smo napravili master1 kao web server instaliranjem http i testirali smo na pretraživaču.

sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Sada provjerite da li su sve Cloudera rpm datoteke tamo u /var/www/html/cloudera-repos/cm6/RPMS/x86_64 direktoriju.

cd /var/www/html/cloudera-repos/cm6
ll

Kreirajte datoteke /etc/yum.repos.d/cloudera-manager.repo na svim serverima u hostovima klastera sa sljedećim sadržajem, ovdje je master1 (65.0.101.148) web servera.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Sada je spremište dodato, pokrenite naredbu ispod da vidite omogućena spremišta.

yum repolist

Pokrenite donju naredbu da vidite sve dostupne pakete povezane s Clouderom u spremištu.

yum list available | grep cloudera*

Instalirajte cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Pokrenite naredbu ispod da vidite sve instalirane Cloudera pakete.

yum list installed | grep cloudera*

Pokrenite naredbu ispod da pokrenete cloudera-scm-server-db koja je osnovna baza podataka za pohranjivanje Cloudera Manager i metapodataka drugih usluga.

Podrazumevano, Cloudera dolazi sa postgre-sql koji je ugrađen u Cloudera Manager. Instaliramo ugrađeni, u eksternu bazu podataka u realnom vremenu koja se može koristiti. To može biti Oracle, MySQL, ili PostgreSQL.

sudo systemctl start cloudera-scm-server-db

Pokrenite naredbu ispod da provjerite status baze podataka.

sudo systemctl status cloudera-scm-server-db

Konfigurirajte db.properties za Cloudera Manager server.

vi /etc/cloudera-scm-server/db.properties

Konfigurirajte donju vrijednost EMBEDDED da bi Cloudera Manager koristio Ugrađenu bazu podataka.

com.cloudera.cmf.db.setupType=EMBEDDED

Pokrenite naredbu ispod da pokrenete Cloudera Manager server.

sudo systemctl start cloudera-scm-server

Pokrenite naredbu ispod da provjerite status Cloudera Manager servera.

sudo systemctl status cloudera-scm-server

Pokrenite naredbu ispod da pokrenete i provjerite status agenta Cloudera Manager.

sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent

Kada se Cloudera Manager Server uspješno pokrene i radi, možete vidjeti WebUI (stranica za prijavu) u pretraživaču koristeći IP adresu i broj porta 7180 koji je broj porta Cloudera Manager.

https://65.0.101.148:7180

Sažetak

U ovom članku smo vidjeli korak po korak proces instaliranja Cloudera Manager na CentOS 7. Vidjet ćemo CDH i druge servisne instalacije u sljedećem članku.