Kako postaviti visoku dostupnost za Namenode - 5. dio

Hadoop ima dvije osnovne komponente koje su HDFS i YARN. HDFS služi za pohranjivanje podataka, YARN je za obradu podataka. HDFS je Hadoop distribuirani sistem datoteka, ima Namenode kao Master Service i Datanode kao Slave Service.

Namenode je kritična komponenta Hadoop-a koja pohranjuje metapodatke podataka pohranjenih u HDFS. Ako Namenode padne, cijeli klaster neće biti dostupan, to je jedina tačka greške (SPOF). Dakle, proizvodno okruženje će imati Namenode High Availability kako bi se izbjegao prekid proizvodnje ako se jedan Namenode pokvari zbog različitih razloga kao što su pad mašine, planirana aktivnost održavanja itd.

Hadoop 2.x pruža izvodljivost gdje možemo imati dva Namenode, jedan će biti Active Namenode, a drugi će biti Standby Namenode<.

  • Aktivno imenode – Upravlja svim klijentskim operacijama.
  • Standby Namenode – To je redundantno od Active Namenode. Ako Aktivni NN padne, onda će Pripravni NN preuzeti svu odgovornost Aktivnog NN.

Omogućavanje Namenode High Availability zahtijeva Zookeeper koji je obavezan za automatsko prebacivanje. ZKFC (Zookeeper Failover Controller) je Zookeeper klijent koji se koristi za održavanje stanja Namenode.

Zahtjevi

  • Najbolje prakse za implementaciju Hadoop servera na CentOS/RHEL 7 – 1. dio
  • Postavljanje Hadoop preduvjeta i sigurnosno jačanje – 2. dio
  • Kako instalirati i konfigurirati Cloudera Manager na CentOS/RHEL 7 – dio 3
  • Kako instalirati CDH i konfigurirati servisna mjesta na CentOS/RHEL 7 – 4. dio

U ovom članku ćemo omogućiti visoku dostupnost imenanoda u Cloudera Manageru.

Korak 1: Instalacija Zookeeper-a

1. Prijavite se na Cloudera Manager.

http://Your-IP:7180/cmf/home

2. U promptu za radnju Cluster (tecmint), odaberite “Dodaj uslugu”.

3. Odaberite uslugu “Zookeeper”.

4. Odaberite servere na kojima ćemo instalirati Zookeeper.

5. Imat ćemo 3 Zookeeper-a da formiramo Zookeeper Quorum. Odaberite servere kao što je navedeno u nastavku.

6. Konfigurišite Zookeeper svojstva, ovdje imamo zadane. U realnom vremenu, morate imati odvojene direktorij/tačke montiranja za pohranjivanje Zookeeper podataka. U Part-1, objasnili smo konfiguraciju pohrane za svaku uslugu. Kliknite na 'nastavi' da nastavite.

7. Instalacija će početi, nakon instaliranja Zookeeper će se pokrenuti. Pozadinske operacije možete pogledati ovdje.

8. Nakon uspješnog završetka gore navedenog koraka, Status će biti 'Gotovo'.

9. Sada je Zookeeper uspješno instaliran i konfiguriran. Kliknite na 'Završi'.

10. Možete pogledati uslugu Zookeeper na Cloudera Manager kontrolnoj tabli.

Korak 2: Omogućavanje visoke dostupnosti imenode

11. Idite na Cloudera Manager –> HDFS –> Radnje –> Omogući visoku dostupnost jako>.

12. Unesite Naziv servisa imena kao “nameservice1 ” – Ovo je zajednički nazivni prostor i za aktivni i za standby Imenode.

13. Odaberite Drugi nazivni čvor gdje ćemo imati Namenode u stanju pripravnosti.

14. Ovdje biramo master2.linux-console.net za standby Namenode.

15. Odaberite čvorove Journal, ovo su obavezne usluge za sinhronizaciju Active i Standby Namenode.

16. Pravimo Quorum Journal postavljanjem čvora Journal na 3 servera kao što je navedeno u nastavku. Odaberite 3 servera i kliknite na 'OK'.

17. Kliknite na 'Nastavi' da nastavite.

18. Unesite putanju direktorija Čvor časopisa. Samo treba napomenuti da će putanja prilikom instalacije ovog direktorija biti automatski kreirana od strane samog servisa. Spominjemo kao ‘/jn’. Kliknite na 'Nastavi' da nastavite.

19. Počet će omogućavati Visoku dostupnost.

20. Kada završimo sve pozadinske procese, dobićemo status „Završeno“.

21. Na kraju ćemo dobiti obavijest „Uspješno omogućena visoka dostupnost”. Kliknite na 'Završi'.

22. Potvrdite Aktivno i Spremno imenode tako što ćete otići na Cloudera Manager –> HDFS > –> Instance.

23. Ovdje možete izdvojiti dvije Namenode, jedna će biti u 'Aktivno' stanju, a druga će biti u 'Stanje pripravnosti ' stanje.

Zaključak

U ovom članku smo prošli kroz proces korak po korak kako bismo omogućili visoku dostupnost imenoda. Veoma je preporučljivo imati Namenode High Availability u svim klasterima u okruženju u realnom vremenu. Molimo vas da objavite svoje sumnje ako naiđete na bilo kakvu grešku tokom ovog procesa. Vidjet ćemo Visoku dostupnost upravitelja resursima u sljedećem članku.