Kako namestiti Hadoop s postopno konfiguracijo na Ubuntu

Kazalo:

Anonim

V tej vadnici vas bomo vodili skozi postopek za namestitev Apache Hadoop na Linux polje (Ubuntu). To je dvodelni postopek

  • 1. del) Prenesite in namestite Hadoop
  • 2. del) Konfigurirajte Hadoop

Obstajata 2 predpogoja

  • Imeti morate nameščen in zagnan Ubuntu
  • Imeti morate nameščeno Javo.

1. del) Prenesite in namestite Hadoop

Korak 1) S pomočjo spodnjega ukaza dodajte uporabnika sistema Hadoop

sudo addgroup hadoop_

sudo adduser --ingroup hadoop_ hduser_

Vnesite geslo, ime in druge podrobnosti.

OPOMBA: V tem postopku namestitve in namestitve obstaja možnost omenjene napake.

"hduser ni v datoteki sudoers. Ta incident bo prijavljen."

To napako lahko reši prijava kot korenski uporabnik

Izvedite ukaz

sudo adduser hduser_ sudo

Re-login as hduser_

2. korak) Konfigurirajte SSH

Za upravljanje vozlišč v gruči Hadoop zahteva dostop SSH

Najprej preklopite uporabnika, vnesite naslednji ukaz

su - hduser_

Ta ukaz bo ustvaril nov ključ.

ssh-keygen -t rsa -P ""

S to tipko omogočite SSH dostop do lokalne naprave.

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Zdaj preizkusite nastavitev SSH, tako da se povežete z localhost kot uporabnik 'hduser'.

ssh localhost

Opomba: Če spodaj vidite napako kot odgovor na 'ssh localhost', potem obstaja možnost, da SSH ni na voljo v tem sistemu-

Da bi to rešili -

Odstrani SSH z

sudo apt-get purge openssh-server

Dobra praksa je čiščenje pred začetkom namestitve

Namestite SSH z ukazom-

sudo apt-get install openssh-server

Korak 3) Naslednji korak je prenos Hadoop

Izberite Stable

Izberite datoteko tar.gz (ne datoteke s src)

Ko je prenos končan, se pomaknite do imenika, ki vsebuje datoteko tar

Enter,

sudo tar xzf hadoop-2.2.0.tar.gz

Zdaj preimenujte hadoop-2.2.0 v hadoop

sudo mv hadoop-2.2.0 hadoop

sudo chown -R hduser_:hadoop_ hadoop

2. del) Konfigurirajte Hadoop

Korak 1) Spremenite datoteko ~ / .bashrc

Na konec datoteke dodajte naslednje vrstice ~ / .bashrc

#Set HADOOP_HOMEexport HADOOP_HOME=#Set JAVA_HOMEexport JAVA_HOME=# Add bin/ directory of Hadoop to PATHexport PATH=$PATH:$HADOOP_HOME/bin

Zdaj poiščite to konfiguracijo okolja z uporabo spodnjega ukaza

. ~/.bashrc

2. korak) Konfiguracije, povezane s HDFS

Nastavite JAVA_HOME znotraj datoteke $ HADOOP_HOME / etc / hadoop / hadoop-env.sh

S

V $ HADOOP_HOME / etc / hadoop / core-site.xml sta dva parametra, ki ju je treba nastaviti

1. 'hadoop.tmp.dir' - Uporablja se za določanje imenika, ki ga bo Hadoop uporabljal za shranjevanje svojih podatkovnih datotek.

2. 'fs.default.name' - Določa privzeti datotečni sistem.

Če želite nastaviti te parametre, odprite core-site.xml

sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml

Kopirajte spodnjo vrstico med oznake 

hadoop.tmp.dir/app/hadoop/tmpParent directory for other temporary directories.
fs.defaultFS hdfs://localhost:54310The name of the default file system.

Pomaknite se do imenika $ HADOOP_HOME / etc / Hadoop

Zdaj ustvarite imenik, omenjen v core-site.xml

sudo mkdir -p

Odobrite dovoljenja za imenik

sudo chown -R hduser_:Hadoop_ 

sudo chmod 750

Korak 3) Zmanjšaj konfiguracijo zemljevida

Preden začnete s temi konfiguracijami, nastavimo pot HADOOP_HOME

sudo gedit /etc/profile.d/hadoop.sh

In Enter

export HADOOP_HOME=/home/guru99/Downloads/Hadoop

Naprej vnesite

sudo chmod +x /etc/profile.d/hadoop.sh

Zaprite terminal in znova zaženite

Vnesite echo $ HADOOP_HOME. Za potrditev poti

Zdaj kopirajte datoteke

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

Odprite datoteko mapred-site.xml

sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml

Dodajte spodnje vrstice nastavitve med oznakama in 

mapreduce.jobtracker.addresslocalhost:54311MapReduce job tracker runs at this host and port.

Odprite $ HADOOP_HOME / etc / hadoop / hdfs-site.xml, kot je prikazano spodaj,

sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Dodajte spodnje vrstice nastavitve med oznakama in 

dfs.replication1Default block replication.
dfs.datanode.data.dir/home/hduser_/hdfs

Ustvarite imenik, določen v zgornji nastavitvi-

sudo mkdir -p 
sudo mkdir -p /home/hduser_/hdfs

sudo chown -R hduser_:hadoop_ 
sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs

sudo chmod 750 
sudo chmod 750 /home/hduser_/hdfs

4. korak) Preden prvič zaženemo Hadoop, formatirajte HDFS z uporabo spodnjega ukaza

$HADOOP_HOME/bin/hdfs namenode -format

5. korak: Zaženite gručo Hadoop z enim vozliščem z uporabo spodnjega ukaza

$HADOOP_HOME/sbin/start-dfs.sh

Izhod zgornjega ukaza

$HADOOP_HOME/sbin/start-yarn.sh

Z orodjem / ukazom 'jps' preverite, ali se vsi procesi, povezani s Hadoop, izvajajo ali ne.

Če se je Hadoop uspešno zagnal, mora izhod jps prikazati NameNode, NodeManager, ResourceManager, SecondaryNameNode, DataNode.

Korak 6) Ustavitev Hadoopa

$HADOOP_HOME/sbin/stop-dfs.sh

$HADOOP_HOME/sbin/stop-yarn.sh