Kako instalirati i konfigurirati Cloudera Manager na CentOS/RHEL 7 - dio 3
U ovom članku smo opisali korak po korak proces instaliranja Cloudera Manager prema industrijskim praksama. U drugom dijelu smo već prošli kroz Cloudera preduslove, provjerite jesu li svi serveri savršeno pripremljeni.
Zahtjevi
- Najbolje prakse za implementaciju Hadoop servera na CentOS/RHEL 7 – 1. dio
- Postavljanje Hadoop preduvjeta i sigurnosno jačanje – 2. dio
Ovdje ćemo imati klaster od 5 čvorova gdje su 2 mastera i 3 radnika. Koristio sam 5 AWS EC2 instanci da demonstriram proceduru instalacije. Imenovao sam tih 5 servera kao ispod.
master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net
Cloudera Manager je administrativni i nadzorni alat za cijeli CDH. Mi administratori to obično nazivamo alatom za upravljanje Cloudera Hadoop. Možemo implementirati, nadgledati, kontrolirati i unositi promjene u konfiguraciju pomoću ovog alata. Ovo je veoma bitno za upravljanje cijelim klasterom.
Ispod su važne upotrebe Cloudera Managera.
- Postavite i konfigurišite Hadoop klastere na automatizovan način.
- Pratite zdravlje klastera
- Konfigurišite upozorenja
- Rješavanje problema
- Izvještavanje
- Izrada izvještaja o korištenju klastera
- Dinamičko konfiguriranje resursa
Korak 1: Instaliranje Apache web servera na CentOS
Koristićemo master1
kao web server za Cloudera repozitorije. Također, Cloudera Manager je WebUI, tako da moramo imati instaliran Apache. Slijedite korake u nastavku da biste instalirali apache web server.
yum -y install httpd
Jednom instaliran httpd, pokrenite ga i omogućite kako bi se pokrenuo pri pokretanju.
systemctl start httpd
systemctl enable httpd
Nakon pokretanja httpd-a, provjerite status.
systemctl status httpd
Nakon pokretanja httpd-a, otvorite pretraživač u vašem lokalnom sistemu i zalijepite IP adresu master1
u traku za pretraživanje, trebali biste dobiti ovu probnu stranicu kako biste bili sigurni da httpd radi dobro.
Korak 2: Konfigurirajte lokalni DNS da razriješi IP i ime hosta
Moramo imati DNS server ili konfigurirati /etc/hosts da riješimo IP i ime hosta. Ovdje konfiguriramo /etc/hosts, ali u realnom vremenu, namjenski DNS server će biti tu za proizvodno okruženje.
Slijedite korake u nastavku da unesete sve svoje servere u /etc/hosts.
vi /etc/hosts
Ovo bi trebalo da bude konfigurisano na svim serverima.
13.235.27.144 master1.linux-console.net master1
13.235.135.170 master2.linux-console.net master2
15.206.167.94 worker1.linux-console.net worker1
13.232.173.158 worker2.linux-console.net worker2
65.0.182.222 worker3.linux-console.net worker3
Korak 3: Konfigurirajte SSH prijavu bez lozinke
Cloudera Manager se instalira na master1
u ovoj demonstraciji. Moramo konfigurirati ssh bez lozinke sa master1
na sve ostale čvorove. Zato što će Cloudera Manager koristiti ssh za komunikaciju sa svim ostalim čvorovima za instaliranje paketa.
Slijedite korake u nastavku da konfigurirate ssh bez lozinke sa master1
na sve preostale servere. Imat ćemo korisnika „tecmint“ da nastavimo dalje.
Kreirajte korisnički „tecmint“ sva 4 servera koristeći useradd komandu kao što je prikazano.
useradd -m tecmint
Da biste dali root privilegiju korisniku ‘tecmint’, dodajte red ispod u datoteku /etc/sudoers. Možete dodati ovu liniju ispod root-a kao što je prikazano na snimku ekrana.
tecmint ALL=(ALL) ALL
Prebacite se na korisnika ‘tecmint’ i kreirajte ssh ključ u master1
koristeći naredbu ispod.
sudo su tecmint
ssh-keygen
Sada kopirajte kreirani ključ na sva 4 servera koristeći naredbu ssh-copy-id kao što je prikazano.
ssh-copy-id -i ~/.ssh/id_rsa.pub [email
ssh-copy-id -i ~/.ssh/id_rsa.pub [email
ssh-copy-id -i ~/.ssh/id_rsa.pub [email
ssh-copy-id -i ~/.ssh/id_rsa.pub [email
Sada biste trebali biti u mogućnosti ssh-om sa master1
na preostale sve servere bez lozinke kao što je prikazano.
ssh master2
ssh worker1
ssh worker2
ssh worker3
Korak 4: Instalacija i konfiguracija Cloudera Managera
Možemo koristiti dobavljač (Cloudera) spremište da instaliramo sve pakete koristeći alate za upravljanje paketima u RHEL/CentOS. U realnom vremenu, kreiranje vlastitog spremišta je najbolja praksa jer možda nemamo pristup internetu na proizvodnim serverima.
Ovdje ćemo instalirati Cloudera Manager 6.3.1 izdanje. Pošto ćemo koristiti master1
kao repo server, preuzimamo pakete na dole navedenoj putanji.
Kreirajte dolje navedene direktorije na master1
serveru.
sudo mkdir -p /var/www/html/cloudera-repos/cm6
Možemo koristiti wget alat za preuzimanje paketa preko http. Dakle, instalirajte wget koristeći naredbu ispod.
sudo yum -y install wget
Zatim preuzmite tar datoteku Cloudera Manager koristeći sljedeću naredbu wget.
wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz
Izvucite tar fajl u /var/www/html/cloudera-repos/cm6, već smo napravili master1
kao web server instaliranjem http i testirali smo na pretraživaču.
sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1
Sada provjerite da li su sve Cloudera rpm datoteke tamo u /var/www/html/cloudera-repos/cm6/RPMS/x86_64 direktoriju.
cd /var/www/html/cloudera-repos/cm6
ll
Kreirajte datoteke /etc/yum.repos.d/cloudera-manager.repo na svim serverima u hostovima klastera sa sljedećim sadržajem, ovdje je master1
(65.0.101.148) web servera.
[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0
Sada je spremište dodato, pokrenite naredbu ispod da vidite omogućena spremišta.
yum repolist
Pokrenite donju naredbu da vidite sve dostupne pakete povezane s Clouderom u spremištu.
yum list available | grep cloudera*
Instalirajte cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.
sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2
Pokrenite naredbu ispod da vidite sve instalirane Cloudera pakete.
yum list installed | grep cloudera*
Pokrenite naredbu ispod da pokrenete cloudera-scm-server-db koja je osnovna baza podataka za pohranjivanje Cloudera Manager i metapodataka drugih usluga.
Podrazumevano, Cloudera dolazi sa postgre-sql koji je ugrađen u Cloudera Manager. Instaliramo ugrađeni, u eksternu bazu podataka u realnom vremenu koja se može koristiti. To može biti Oracle, MySQL, ili PostgreSQL.
sudo systemctl start cloudera-scm-server-db
Pokrenite naredbu ispod da provjerite status baze podataka.
sudo systemctl status cloudera-scm-server-db
Konfigurirajte db.properties za Cloudera Manager server.
vi /etc/cloudera-scm-server/db.properties
Konfigurirajte donju vrijednost EMBEDDED da bi Cloudera Manager koristio Ugrađenu bazu podataka.
com.cloudera.cmf.db.setupType=EMBEDDED
Pokrenite naredbu ispod da pokrenete Cloudera Manager server.
sudo systemctl start cloudera-scm-server
Pokrenite naredbu ispod da provjerite status Cloudera Manager servera.
sudo systemctl status cloudera-scm-server
Pokrenite naredbu ispod da pokrenete i provjerite status agenta Cloudera Manager.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
Kada se Cloudera Manager Server uspješno pokrene i radi, možete vidjeti WebUI (stranica za prijavu) u pretraživaču koristeći IP adresu i broj porta 7180 koji je broj porta Cloudera Manager.
https://65.0.101.148:7180
Sažetak
U ovom članku smo vidjeli korak po korak proces instaliranja Cloudera Manager na CentOS 7. Vidjet ćemo CDH i druge servisne instalacije u sljedećem članku.