Kako instalirati CDH i konfigurirati servisna mjesta na CentOS/RHEL 7 - dio 4


U ranijem članku smo objasnili instalaciju Cloudera Managera, u ovom članku ćete naučiti kako instalirati i konfigurirati CDH (Cloudera Distribution Hadoop) u RHEL/CentOS 7.

Dok instaliramo CDH paket, moramo osigurati kompatibilnost Cloudera Manager i CDH. Verzija Cloudere ima 3 dijela – ... Cloudera Manager glavna i manja verzija moraju biti iste kao CDH glavna i manja verzija.

Na primjer, koristimo Cloudera Manager 6.3.1 i CDH 6.3.2. Ovdje je 6 glavna, a 3 manja verzija. Major i Minor moraju biti isti kako bi se izbjegli problemi kompatibilnosti.

Zahtjevi

  • Najbolje prakse za implementaciju Hadoop servera na CentOS/RHEL 7 – 1. dio
  • Postavljanje Hadoop preduvjeta i sigurnosno jačanje – 2. dio
  • Kako instalirati i konfigurirati Cloudera Manager na CentOS/RHEL 7 – dio 3

Uzet ćemo donja 2 čvora za instalaciju CDH-a. Već smo instalirali Cloudera Manager u master1, također koristimo master1 kao repo server.

master1.linux-console.net
worker1.linux-console.net

Korak 1: Preuzmite CDH pakete na Master server

1. Prvo se povežite na master1 server i preuzmite datoteke CDH Parcels u /var/www/html/cloudera-repos/ cdh direktorij . Moramo preuzeti dolje navedena 3 fajla koji bi trebali biti kompatibilni sa RHEL/CentOS 7.

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json

2. Prije preuzimanja ovih datoteka, obavezno kreirajte cdh direktorij pod /var/www/html/cloudera-repos/ lokacijom.

cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh

3. Zatim preuzmite gore navedene 3 datoteke koristeći sljedeću wget komandu.

sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json 

Korak 2: Postavite Cloudera Manager Repo na Worker klijente

4. Sada se povežite na worker servere i kopirajte repo fajl (cloudera-manager.repo) sa repo servera (master1<) na sav preostali server radnika. Ova repo datoteka osigurava serverima da će sve potrebne parcele i RPM-ovi biti preuzeti sa repo servera tokom instalacije.

cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL

5. Nakon dodavanja repo, navedite omogućena spremišta kako biste bili sigurni da je repo cloudera-manager omogućen.

yum repolist

Korak 3: Instalirajte Cloudera Manager Daemone i Agent na Worker servere

6. Sada moramo instalirati cloudera-manager-daemons i cloudera-manager-agent na sve preostale servere.

sudo yum install cloudera-manager-daemons cloudera-manager-agent

7. Zatim morate konfigurirati agenta Cloudera Manager da prijavi server Cloudera Manager.

sudo vi /etc/cloudera-scm-agent/config.ini

Zamijenite localhost IP adresom servera Cloudera Manager.

8. Pokrenite Cloudera Manager Agent i provjerite status.

sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent

Korak 4: Instalirajte i postavite CDH

Imamo CDH parcele u master1 – repo serveru. Provjerite da li svi serveri imaju Cloudera Manager repo datoteku u /etc/yum.repos.d/ ako slijedite automatsku instalaciju koristeći Cloudera Manager.

9. Prijavite se na Cloudera Manager koristeći donji URL na portu 7180 i koristite zadano korisničko ime i lozinku za Cloudera Manager.

http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin

10. Nakon što se prijavite, dočekat će vas stranica dobrodošlice. Ovdje možete pronaći napomene o izdanju, nove značajke Cloudera Managera.

11. Prihvatite licencu i nastavite.

12. Odaberite izdanje. Standardno je odabrana probna verzija, možemo nastaviti s tim.

13. Sada slijedite korake za instalaciju klastera. Nastavite stranicu dobrodošlice.

14. Imenujte klaster i nastavite, nazvali smo "tecmint ". Postoje 2 tipa klastera koje možete definirati. Nastavljamo sa redovnim klasterom.

  • Regularni klaster: Sastojiće se od čvorova za skladištenje, računarskih čvorova i drugih potrebnih usluga.
  • Compute Cluster: Sastojat će se samo od računskih čvorova. Eksterna memorija se može koristiti za skladištenje podataka.

15. Već smo instalirali Cloudera Manager Agente na svim serverima. Te servere možete pronaći u “Trenutno upravljanim hostovima”. Za automatsku instalaciju, morate unijeti FQDN ili IP servera u opciju “New Hosts” i pretražiti. Cloudera Manager će automatski otkriti hostove na kojima trebamo instalirati CDH.

Ovdje kliknite na “Trenutno upravljani hostovi”, odaberite sve hostove odabirom ‘Naziv hosta’ i nastavite.

16. Odaberite Spremište – korištenje Parcel je preporučeni način. Kliknite na 'Više opcija' da konfigurirate spremište.

17. Unesite URL lokalnog spremišta kao što je dolje navedeno. Uklonite sva preostala javna spremišta koja upućuju na Web (Cloudera spremišta).

Ovo je CDH URL lokalnog spremišta koji imamo u master1.

http://104.211.95.96/cloudera-repos/cdh/

18. Kada unesete URL spremišta, ova stranica će prikazati samo dostupne parcele. Nastavite sa ovim korakom.

19. Sada se paketi preuzimaju, distribuiraju, raspakuju i aktiviraju na svim dostupnim serverima.

20. Kada se CDH paketi aktiviraju, pregledajte Cluster. Ovaj korak će izvršiti provjeru zdravlja klastera. Ovdje preskačemo i nastavljamo.

Korak 5: Konfiguracija klastera

21. Ovdje trebamo odabrati Usluge koje će se instalirati u Cluster. Neke upakovane kombinacije će biti dostupne prema zadanim postavkama, mi idemo na Prilagođene usluge.

22. U Prilagođenim uslugama, instaliramo samo osnovne komponente (HDFS i YARN >) za ovu demo svrhu.

23. Dodijelite uloge serveru. Možemo prilagoditi prema našim zahtjevima. Pronađite donji grafikon koji opisuje preporučenu distribuciju uloga za osnovni mali klaster sa 5 do 20 čvorova sa visokom dostupnošću.

24. Odaberite tip baze podataka, ime hosta, DB ime, korisničko ime i lozinku. Pošto koristimo Embedded PostgreSQL, on će biti odabran po defaultu. Testirajte vezu, trebala bi biti uspješna.

25. Ova stranica će prikazati zadane konfiguracijske parametre HDFS i Yarn, uključujući direktorije podataka. Pregledajte sve detalje konfiguracije i možete izvršiti promjene ako je potrebno. Onda nastavite sa ovim.

26. Ova stranica će prikazati detalje naredbe 'Prvo pokretanje'. Možete ga proširiti da vidite detalje izvršavanja naredbi. Ako postoje problemi s mrežom ili dozvolama u klasteru, ovaj korak neće uspjeti. Obično ovaj korak odlučuje o nesmetanoj instalaciji Zgrade klastera.

27. Kada se gornji korak završi, kliknite na 'Završi' da završite instalaciju. Ovo je kontrolna tabla Cloudera Managera nakon instaliranja CDH-a.

http://104.211.95.96:7180/cmf/home

Zaključak

Uspješno smo završili instalaciju Cloudera Manager i CDH. U Cloudera Manager Dashboard, možete pronaći unaprijed definirani skup grafikona gdje možete pratiti CPU klastera, Disk IO itd. Možemo upravljati cijelim Klasterom koristeći ovaj Cloudera Manager >. Vidjet ćemo sve administrativne operacije u narednim člancima.