Najbolje prakse za implementaciju Hadoop servera na CentOS/RHEL 7 - 1. dio

U ovoj seriji članaka pokriti ćemo cijelu zgradu Cloudera Hadoop Cluster Building sa najboljim praksama koje preporučuju Prodavci i Industrijski.

OS instalacija i obavljanje OS nivoa Preduvjeti su prvi koraci za izgradnju Hadoop klastera. Hadoop može raditi na različitim vrstama Linux platforme: CentOS, RedHat, Ubuntu, Debian<, SUSE itd., U proizvodnji u realnom vremenu, većina Hadoop klastera je izgrađena na vrhu RHEL/CentOS, mi će koristiti CentOS 7 za demonstraciju u ovoj seriji tutorijala.

U organizaciji, instalacija OS-a može se obaviti pomoću kickstarta. Ako se radi o klasteru od 3 do 4 čvora, ručna instalacija je moguća, ali ako napravimo veliki klaster sa više od 10 čvorova, zamorno je instalirati OS jedan po jedan. U ovom scenariju, Kickstart metoda dolazi u obzir, možemo nastaviti s masovnom instalacijom pomoću kickstarta.

Postizanje dobrih performansi iz Hadoop okruženja zavisi od obezbjeđenja ispravnog hardvera i softvera. Dakle, izgradnja proizvodnog Hadoop klastera uključuje dosta razmatranja u vezi s hardverom i softverom.

U ovom članku ćemo proći kroz različite referentne vrijednosti o instalaciji OS-a i neke najbolje prakse za implementaciju Cloudera Hadoop Cluster Server na CentOS/RHEL 7.

Važno razmatranje i najbolje prakse za implementaciju Hadoop servera

Sljedeće su najbolje prakse za postavljanje postavljanja Cloudera Hadoop Cluster Server na CentOS/RHEL 7.

  • Hadoop serveri ne zahtevaju standardne servere preduzeća da bi napravili klaster, već je potreban dobar hardver.
  • U proizvodnom klasteru preporučuje se 8 do 12 diskova sa podacima. Prema prirodi posla, moramo odlučiti o tome. Ako je klaster za računarski intenzivne aplikacije, 4 do 6 diskova je najbolja praksa da se izbjegnu problemi s I/O.
  • Pogoni podataka bi trebali biti particionirani pojedinačno, na primjer – počevši od /data01 do /data10.
  • RAID konfiguracija se ne preporučuje za radne čvorove, jer sam Hadoop pruža toleranciju na greške repliciranjem blokova u 3 po defaultu. Dakle, JBOD je najbolji za radne čvorove.
  • Za glavne servere, RAID 1 je najbolja praksa.
  • Zadani sistem datoteka na CentOS/RHEL 7.x je XFS. Hadoop podržava XFS, ext3 i ext4. Preporučeni sistem datoteka je ext3 jer je testiran za dobre performanse.
  • Svi serveri bi trebali imati istu verziju OS-a, barem isto manje izdanje.
  • Najbolja praksa je da imate homogen hardver (svi radni čvorovi treba da imaju iste hardverske karakteristike (RAM, prostor na disku i jezgro itd.).
  • Prema radnom opterećenju klastera (Balanced Workload, Compute Intensive, I/O Intensive) i veličini, planiranje resursa (RAM, CPU) po serveru će se razlikovati.

Pronađite donji primjer za particioniranje diska servera od 24TB za pohranu.

Instalacija CentOS 7 za Hadoop Server Deployment

Stvari koje trebate znati prije instaliranja CentOS 7 servera za Hadoop server.

  • Minimalna instalacija je dovoljna za Hadoop servere (radne čvorove), u nekim slučajevima GUI se može instalirati samo za glavne servere ili servere za upravljanje gdje možemo koristiti pretraživače za web UI-je Alati za upravljanje.
  • Konfigurisanje mreža, imena hosta i drugih postavki vezanih za OS može se obaviti nakon instalacije OS-a.
  • U realnom vremenu, dobavljači servera će imati vlastitu konzolu za interakciju i upravljanje serverima, na primjer – Dell serveri imaju iDRAC koji je uređaj u koji je ugrađen server. Koristeći to iDRAC sučelje možemo instalirati OS sa slikom OS-a u našem lokalnom sistemu.

U ovom članku smo instalirali OS (CentOS 7) u VMware virtuelnu mašinu. Ovdje nećemo imati više diskova za izvođenje particija. CentOS je sličan RHEL-u (ista funkcionalnost), tako da ćemo vidjeti korake za instaliranje CentOS-a.

1. Počnite preuzimanjem CentOS 7.x ISO slike u vaš lokalni Windows sistem i odaberite je dok pokrećete virtuelnu mašinu. Odaberite „Instaliraj CentOS 7“ kao što je prikazano.

2. Odaberite Jezik, zadano će biti engleski, i kliknite na nastavi.

3. Odabir softvera – Odaberite „Minimalna instalacija“ i kliknite na „Gotovo“.

4. Postavite root lozinku kako će to tražiti od nas da postavimo.

5. Odredište instalacije – Ovo je važan korak da budete oprezni. Moramo da izaberemo disk na koji treba da se instalira OS, a namenski disk treba da bude izabran za OS. Kliknite na 'Odredište za instalaciju' i odaberite Disk, u realnom vremenu će biti tamo više diskova, moramo odabrati, poželjno 'sda'.

6. Ostale opcije pohrane – Odaberite drugu opciju (ja ću konfigurirati particioniranje) da konfigurirate particioniranje vezano za OS kao što su /var, / var/log, /home, /tmp, /opt, /swap.

7. Kada završite, započnite instalaciju.

8. Kada se instalacija završi, ponovo pokrenite server.

9. Prijavite se na server i postavite ime hosta.

hostnamectl status
hostnamectl set-hostname tecmint
hostnamectl status

Sažetak

U ovom članku smo prošli kroz korake instalacije OS-a i najbolje prakse za particioniranje sistema datoteka. Ovo su sve opće smjernice, prema prirodi posla, možda ćemo se morati koncentrirati na više nijansi kako bismo postigli najbolje performanse klastera. Planiranje klastera je umjetnost za Hadoop administratora. U sljedećem članku ćemo se duboko zaroniti u preduslove na nivou OS-a i sigurnosnog učvršćivanja.