Hadoop2.2.0+Spark0.9.0分布式搭建

軟件版本 JDK：jdk-7u45-linux-x64.tar Spark：spark-0.9.0-incubating-bin-hadoop2.tgz Scala：scala-2.10.3.tgz Hadoop：hadoop-2.2.0_x64.tar.gz 集群狀況 adai1: Master/NameNode/ResourceManager/SecondaryNameNode adai2: Worker/DataNode/NodeManager

軟件版本

JDK：jdk-7u45-linux-x64.tar

Spark：spark-0.9.0-incubating-bin-hadoop2.tgz

Scala：scala-2.10.3.tgz

Hadoop：hadoop-2.2.0_x64.tar.gz

集群狀況

adai1: Master/NameNode/ResourceManager/SecondaryNameNode

adai2: Worker/DataNode/NodeManager

adai3: Worker/DataNode/NodeManager

JDK安裝

解壓縮：

tar -jdk-7u45-linux-x64.tar

將文件夾移動到/usr/lib文件夾下

sudo mv jdk1.7.0_45 /usr/lib/

設置環境變量

sudo vi /etc/profile

在最后添加上

#set java environment

export JAVA_HOME=/usr/lib/jdk1.7.0_45

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

export JRE_HOME=$JAVA_HOME/jre

讓環境變量生效

source /etc/profile

查看版本信息

java –version

Hosts設置

sudo vi /etc/hosts

127.0.0.1 localhost

192.168.1.11 adai1

192.168.1.12 adai2

192.168.1.13 adai3

將hosts文件復制到其他節點上

scp /etc/hosts adai@192.168.1.12:/etc/hosts

scp /etc/hosts adai@192.168.1.13:/etc/hosts

SSH無密碼登錄

adai1機無密碼登錄adai2機 在adai1機上

sudo get-apt install ssh

ssh-keygen -t rsa （用rsa生成密鑰）

cd ~/.ssh (進入用戶目錄下的隱藏文件.ssh)

cat id_rsa.pub >> authorized_keys (將id_rsa.pub加到授權的key里面去,這步執行完，應該sshlocalhost可以無密碼登錄本機了，可能第一次要密碼)

scp ~/.ssh/id_rsa.pub adai@adai2:~/ (把adai1機下的id_rsa.pub復制到adai2機下)

adai2機上

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys (adai2機把從adai1機復制的id_rsa.pub添加到.ssh/authorzied_keys文件里)

chmod 600 .ssh/authorized_keys （此處權限必須為600）

再配置adai1機無密碼登錄adai3機

Hadoop配置

hadoop2.2.0 64位機器版本需要自己編譯，網上可以下載到其他人編譯好的

解壓縮

tar -zxvf hadoop-2.2.0_x64.tar.gz

移動文件夾到/opt/目錄下

sudo mv hadoop-2.2.0/ /opt/

設置環境變量

sudo vi /etc/profile

添加

export HADOOP_HOME=/opt/hadoop-2.2.0

export PATH=$PATH:$HADOOP_HOME/bin

export YARN_HOME=/opt/hadoop-2.2.0

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

讓環境變量生效

source /etc/profile

進入/opt/hadoop-2.2.0/etc/hadoop/目錄，修改配置文件

vihadoop-env.sh

export JAVA_HOME=/usr/lib/jdk1.7.0_45

export HADOOP_HOME=/opt/hadoop-2.2.0

export PATH=$PATH:$HADOOP_HOME/bin

vicore-site.xml

fs.defaultFS

hdfs://adai1:9000

io.file.buffer.size

131072

hadoop.tmp.dir

file:/opt/hadoop-2.2.0/tmp_hadoop

Abase forother temporary directories.

hadoop.proxyuser.adai.hosts

*

hadoop.proxyuser.adai.groups

*

將mapred-site.xml.templat模板文件重命名

mv mapred-site.xml.templat mapred-site.xml

vi mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

adai1:10020

mapreduce.jobhistory.webapp.address

adai1:19888

vi hdfs-site.xml

dfs.namenode.secondary.http-address

adai1:9001

dfs.namenode.name.dir

file:/opt/hadoop-2.2.0/dfs/name

dfs.datanode.data.dir

file:/opt/hadoop-2.2.0/dfs/data

dfs.replication

2

dfs.webhdfs.enabled

true

vi yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.address

adai1:8032

yarn.resourcemanager.scheduler.address

adai1:8030

yarn.resourcemanager.resource-tracker.address

adai1:8031

yarn.resourcemanager.admin.address

adai1:8033

yarn.resourcemanager.webapp.address

adai1:8088

vi slaves

adai2

adai3

將配置文件拷貝到其他節點上

格式化

bin/hadoop namenode –format

啟動hadoop

sbin/start-all.sh

jps查看集群情況

Scala安裝

解壓縮

tar -zxvf scala-2.10.3.tgz

移動到/usr/lib文件夾下

sudo mv scala-2.10.3 /usr/lib/

設置環境變量

sudo vi /etc/profile

在后面增加內容

export SCALA_HOME=/usr/lib/scala-2.10.3

export PATH=$PATH:$SCALA_HOME/bin

配置文件拷貝到其他節點上，讓環境變量生效

source /etc/profile

查看版本信息

scala –version

Spark配置

解壓縮

tar –zxvf spark-0.9.0-incubating-bin-hadoop2.tgz

移動到opt文件夾下

sudo mv spark-0.9.0-incubating-bin-hadoop2/ /opt/spark

修改環境變量

vi /etc/profile

后面增加內容

export SPARK_HOME=/opt/spark

export PATH=$PATH:$SPARK_HOME/bin

讓環境變量生效

source /etc/profile

到conf文件夾下修改配置文件

mv spark-env.sh.templatespark-env.sh

vi spark-env.sh

export SCALA_HOME=/usr/lib/scala-2.10.3

export JAVA_HOME=/usr/lib/jdk1.7.0_45

export SPARK_MASTER_IP=192.168.1.11

export HADOOP_HOME=/opt/hadoop-2.2.0

export SPARK_HOME=/opt/spark

export SPARK_LIBRARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop/

vi slaves

adai2

adai3

將配置文件拷貝到其他節點上

在Master上執行

sbin/start-all.sh

運行Spark自帶的例子

./bin/run-exampleorg.apache.spark.examples.SparkPi spark://192.168.1.11:7077

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com