Namestitev HBase na Ubuntu

Kazalo:

Anonim

V tej vadnici boste izvedeli,

  • Načini namestitve Apache HBase
  • Kako prenesti stabilno različico datoteke Hbase tar
  • Hbase - Namestitev v samostojnem načinu
  • Hbase - Pseudo porazdeljen način namestitve
  • Hbase - Namestitev v popolnoma porazdeljenem načinu
  • Odpravljanje težav z namestitvijo HBase

Načini namestitve Apache HBase

Apache HBase je mogoče namestiti v treh načinih. Značilnosti teh načinov so omenjene spodaj.

1) Namestitev v samostojnem načinu (ni odvisna od sistema Hadoop)

  • To je privzeti način HBase
  • Deluje proti lokalnemu datotečnemu sistemu
  • Ne uporablja Hadoop HDFS
  • Zažene se lahko samo demon HMaster
  • Ni priporočljivo za proizvodno okolje
  • Deluje v enem JVM

2) Namestitev v psevdo-porazdeljenem načinu (sistem Hadoop z enim vozliščem + namestitev HBase)

  • Deluje na Hadoop HDFS
  • Vsi demoni delujejo v enem vozlišču
  • Priporočamo za proizvodno okolje

3) Namestitev v popolnoma porazdeljenem načinu (okolje MultinodeHadoop + namestitev HBase)

  • Deluje na Hadoop HDFS
  • Vsi demoni se bodo izvajali v vseh vozliščih v gruči
  • Zelo priporočljivo za proizvodno okolje

Za namestitev Hadoop glejte ta URL tukaj

Kako prenesti stabilno različico datoteke Hbase tar

Korak 1) Pojdite na tukaj povezavo za prenos HBase. Odprla se bo spletna stran, kot je prikazano spodaj.

Korak 2) Izberite stabilno različico, kot je prikazano spodaj 1.1.2 različica

Korak 3) Kliknite hbase-1.1.2-bin.tar.gz. Prenesla bo tar datoteko. Kopirajte datoteko tar na mesto namestitve.

Hbase - Namestitev v samostojnem načinu:

Namestitev se izvede na Ubuntu z že nameščenim Hadoopom.

1. korak) Postavite hbase-1.1.2-bin.tar.gz v / home / hduser

Korak 2) Razpakirajte z izvedbo ukaza $ tar -xvf hbase-1.1.2-bin.tar.gz . Razpakiral bo vsebino in ustvaril hbase-1.1.2 na lokaciji / home / hduser

Korak 3) Odprite hbase-env.sh, kot je prikazano spodaj, in na mestu omenite pot JAVA_HOME.

Korak 4) Odprite datoteko ~ / .bashrc in omenite pot HBASE_HOME, kot je prikazano spodaj

izvoz HBASE_HOME = / home / hduser / hbase-1.1.1 izvoz PATH = $ PATH: $ HBASE_HOME / bin

5. korak) Odprite hbase-site.xml in v datoteko vstavite naslednje lastnosti

hduser @ ubuntu $ gedit hbase-site.xml (koda spodaj)

hbase.rootdirfile:///home/hduser/HBASE/hbase
hbase.zookeeper.property.dataDir/home/hduser/HBASE/zookeeper

Tu postavljamo dve lastnosti

  • Ena za korenski imenik HBase in
  • Drugi za podatkovni imenik ustreza ZooKeeper.

Vse dejavnosti HMaster in ZooKeeper opozarjajo na to hbase-site.xml.

Korak 6) Odprite datoteko gostitelja, ki je prisotna v / etc. lokacije in navedite IP-je, kot je prikazano spodaj.

Korak 7) Zdaj zaženite Start-hbase.sh na mestu hbase-1.1.1 / bin, kot je prikazano spodaj.

Z ukazom jps lahko preverimo, ali HMaster deluje ali ne.

Korak 8 ) Ovojnica HBase se lahko začne z uporabo "hbase shell" in preide v interaktivni način lupine, kot je prikazano na spodnjem posnetku zaslona. Ko vstopi v način lupine, lahko izvajamo vse vrste ukazov.

Samostojni način ne zahteva, da se zaženejo demoni Hadoop. HBase lahko deluje neodvisno.

Hbase - Pseudo porazdeljen način namestitve:

To je še ena metoda za namestitev Apache Hbase, znana kot Pseudo Distributed način namestitve. Spodaj so navedeni koraki za namestitev HBase s to metodo.

1. korak) Postavite hbase-1.1.2-bin.tar.gz v / home / hduser

Korak 2) Razpakirajte z izvedbo ukaza $ tar -xvf hbase-1.1.2-bin.tar.gz . Razpakiral bo vsebino in ustvaril hbase-1.1.2 na lokaciji / home / hduser

Korak 3) Odprite hbase-env.sh, kot je prikazano spodaj, na mestu navedite pot JAVA_HOME in pot strežnikov regij ter izvozite ukaz, kot je prikazano

Korak 4) V tem koraku bomo odprli datoteko ~ / .bashrc in omenili pot HBASE_HOME, kot je prikazano na posnetku zaslona.

5. korak) Odprite HBase-site.xml in v datoteki omenite spodnje lastnosti. (Koda kot spodaj) 

hbase.rootdirhdfs://localhost:9000/hbase
hbase.cluster.distributedtrue
hbase.zookeeper.quorumlocalhost
dfs.replication1
hbase.zookeeper.property.clientPort2181
hbase.zookeeper.property.dataDir/home/hduser/hbase/zookeeper
  1. Nastavitev korenskega imenika Hbase v tej lastnosti
  2. Za porazdeljeno nastavitev moramo nastaviti to lastnost
  3. Tu je treba nastaviti lastnost kvoruma ZooKeeper
  4. V tej lastnosti nastavljena replikacija. Privzeto postavljamo replikacijo kot 1.

    V popolnoma porazdeljenem načinu je prisotnih več podatkovnih vozlišč, tako da lahko povečamo podvajanje tako, da v lastnost dfs.replication vstavimo več kot 1 vrednost

  5. V tej lastnosti je treba omeniti odjemalska vrata
  6. V tej lastnosti je mogoče omeniti podatkovni imenik ZooKeeper

Korak 6) Najprej zaženite demone Hadoop, nato pa zaženite demone HBase, kot je prikazano spodaj

Tukaj morate najprej zagnati demone Hadoop z uporabo ukaza "./start-all.sh", kot je prikazano spodaj.

Po zagonu demonov Hbase s strani hbase-start.sh

Zdaj preverite jps

Hbase - Namestitev v popolnoma porazdeljenem načinu: -

  • Ta nastavitev bo delovala v načinu gruče Hadoop, kjer se več vozlišč drsi po gruči in se izvaja.
  • Namestitev je enaka kot psevdo porazdeljeni način; razlika je le v tem, da se bo pojavil na več vozliščih.
  • Datoteke s konfiguracijami, omenjene v HBase-site.xml in hbase-env.sh, so enake kot v psevdo načinu.

Odpravljanje težav z namestitvijo HBase

1) Izjava o težavi: Glavni strežnik se inicializira, regijski strežniki pa se ne inicializirajo

Komunikacija med glavnim in regijskim strežnikom prek njihovih naslovov IP. Tako kot način, kako bo Master poslušal, da se izvajajo regijski strežniki ali imajo naslov IP 127.0.0.1. Naslov IP 127.0.0.1, ki je lokalni gostitelj in se razreši na lastnega lokalnega gostitelja glavnega strežnika.

Vzrok:

V dvojni komunikaciji med regijskimi strežniki in glavnim strežnikom regijski strežnik stalno obvešča glavni strežnik o njihovih naslovih IP 127.0.0.1.

Rešitev:

  • Iz lokalnega gostitelja, ki je prisoten v datoteki gostitelja, morate odstraniti vozlišče imena glavnega strežnika
  • Lokacija gostiteljske datoteke / etc / hosts

Kaj spremeniti:

Odprite /etc./hosts in pojdite na to lokacijo

127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost: : 1 localhost3.localdomain3 localdomain3

Spremenite zgornjo konfiguracijo, kot je prikazano spodaj (odstranite ime strežnika regije, kot je poudarjeno zgoraj)

127.0.0.1 localhost.localdomainlocalhost: : 1 localhost3.localdomain3 localdomain3

2) Izjava o težavi: Na seznamu kvorumskih strežnikov Zookeeper nisem našel svojega naslova: XYZ

Vzrok:

  • Strežnik ZooKeeper se ni mogel zagnati in v imenu strežnika bo povzročil napako, kot je .xyz.
  • HBase poskuša zagnati strežnik ZooKeeper na nekem računalniku, hkrati pa stroj ne more najti konfiguracije kvoruma, tj. Prisotne v konfiguracijski datoteki HBase.zookeeper.quorum

Rešitev: -

  • Ime gostitelja morate zamenjati z imenom gostitelja, ki je predstavljeno v sporočilu o napaki
  • Recimo, da imamo DNS strežnik, potem lahko v HBase-site.xml nastavimo spodnje konfiguracije.
    • Vmesnik HBase.zookeeper.dns.
    • HBase.zookeeper.dns.nameserver

3) Izjava o težavi: Ustvarjen korenski imenik za HBase prek Hadoop DFS

  • Master pravi, da morate zagnati skript za selitev HBase.
  • Po zagonu se skript za selitev HBase odzove kot nobena datoteka v korenskem imeniku .

Vzrok:

  • Ustvarjanje novega imenika za HBase z uporabo datotečnega sistema Hadoop Distributed
  • Tu HBase pričakuje dve možnosti

1) Korenski imenik ne obstaja

2) Pred tem je bil inicializiran predhodni izvajani primerek HBase

Rešitev:

  • Izboljšajte skladnost Korenski imenik HBase trenutno ne obstaja ali pa je bil inicializiran s prejšnjim zagonom primerka HBase.
  • Kot del rešitve moramo slediti korakom

Korak 1) S pomočjo Hadoop dfs izbrišete korenski imenik HBase

2. korak) HBase ustvari in inicializira imenik sam

4) Izjava o težavi: dogodki z potekom seje čuvaja živalskega vrta

Vzrok:

  • Strežniki HMaster ali HRegion se zaustavijo z metanjem izjem
  • Če opazujemo dnevnike, lahko ugotovimo dejanske izjeme, ki so bile vržene

V nadaljevanju je prikazana izjema, vržena zaradi dogodka, ki je potekel Zookeeper. Označeni dogodki so nekatere izjeme v dnevniški datoteki

Koda dnevniških datotek, kot je prikazano spodaj:

WARN org.apache.zookeeper.ClientCnxn: Exceptionclosing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ecjava.io.IOException: TIMED OUT at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORTINFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]INFO org.apache.zookeeper.ClientCnxn: Server connection successfulWARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65ejava.io.IOException: Session Expired at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired

Rešitev:

  • Privzeta velikost RAM-a je 1 GB. Za dolgotrajni uvoz smo ohranili zmogljivost RAM-a več kot 1 GB.
  • Povečati morate časovno omejitev seje za Zookeeperja.
  • Za podaljšanje časa seje izven Zookeeperja moramo spremeniti naslednjo lastnost v "hbase-site.xml", ki je prisotna v poti mape hbase / conf.
  • Privzeta časovna omejitev seje je 60 sekund. Kot je navedeno spodaj, ga lahko spremenimo na 120 sekund
 zookeeper.session.timeout 1200000
 hbase.zookeeper.property.tickTime 6000