CentOS下Hadoop搭建与wordcount实例运转,2伪布满式布

2019-08-26 21:40 来源:未知

CentOS下Hadoop搭建与wordcount实例运行

最近在学习弄hadoop,遇到很多麻烦,这里记录下来是方便以后回头查看。我用的VMwareWorkstation10.0.4下安装的CentOS7

基本环境:

Linux版本:CentOS 7.0

JDK版本:jdk-7u79-linux-x64.tar.gz

Hadoop版本:hadoop-2.7.2.tar.gz

jdk以及Hadoop安装在/usr目录下。

centos7.0 下安装jdk1.8

安装配置jdk

java-version看是否安装java

用env|grepJAVA_HOME或者echo$JAVA_HOME$PATH来检查环境变量配置的是否正确,如果没有可以到官网上下载。因为自带的jdk有点问题,我先卸载了自带的jdk:

一、安装java环境

注意:若CentOS 7已安装OpenJDK,可以使用以下命令进行卸载。

# rpm -qa | grep jdk  (查看目前系统中jdk版本)

吉利彩票平台注册 1

# yum -y remove java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_吉利彩票平台注册,64 java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64 java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64 java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64   (卸载)

开始安装

# tar zxvf jdk-7u79-linux-x64.tar.gz

# mv jdk1.7.0_79 /usr/

配置java环境变量

# vi /etc/profile

在末尾添加以下内容,并保存,退出。

export JAVA_HOME=/usr/jdk1.7.0_79

export JRE_HOME=/usr/jdk1.7.0_79/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$JAVA_HOME/lib/jt.jar:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

生效环境变量

# source /etc/profile

验证是否OK。

# java -version

吉利彩票平台注册 2

centos7.0这里安装jdk1.8采用yum安装方式,非常简单。

首先检查linux下面时候安装过jdk

#rpm-qa|grepjdk

java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64

二、安装Hadoop

这里是下载已经编译好的包hadoop-2.7.2.tar.gz。

解压、安装

# tar zxvf hadoop-2.7.2.tar.gz

# mv hadoop-2.7.2 /usr/

配置环境变量

# vi /etc/profile

在末尾添加以下内容,并保存退出

# Hadoop Environment Variables

export HADOOP_HOME=/usr/hadoop-2.7.2

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

生效环境变量

# source /etc/profile

1、查看yum库中jdk的版本

然后卸载自带jdk

#rpm-e--nodepsjava-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

#rpm-e--nodepsjava-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64

三、修改IP映射

# vi /etc/hosts

吉利彩票平台注册 3

1[root@localhost ~]# yum search java|grep jdk

环境变量配置

然后用下面命令配置环境变量:

vi/etc/profile(该文件要切换到root下去编辑)

打开编辑的文件后,在文件最后面添加如下内容

JAVA_HOME=/usr/java/jdk1.7.0_71(这是我的安装目录,可以根据自己的定)

JRE_HOME=/usr/java/jdk1.7.0_71/jre

PATH=$PATH:$JAVA_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportJAVA_HOMEJRE_HOMEPATHCLASSPATH

保存退出,最后运行下面命令,使配置生效

source/etc/profile

echo$JAVA_HOME$PATH来检验是否配置正确

四、配置SSH免密码登录

检验是否已经安装SSH

# rpm -qa | grep ssh

若返回以下结果则不需要安装

吉利彩票平台注册 4

若需要安装则执行以下命令进行安装,已安装的忽略该步骤:

# yum install -y openssh-clients openssh-server

配置

# cd ~/.ssh/  #若无SSH目录,则需要先执行一次ssh localhost

# ssh-keygen -t rsa   #会有提示,直接按回车即可

# cat id_rsa.pub >> authorized_keys  #加入授权

# chmod 600 ./authorized_keys  #修改文件权限

此时验证即可无密码登录。

# ssh localhost

吉利彩票平台注册 5

吉利彩票平台注册 6

安装ssh服务

#rpm-qa|grepssh检查是否装了SSH包没有的话yuminstallopenssh-server

#chkconfig--listsshd检查SSHD是否在本运行级别下设置为开机启动

#chkconfig--level2345sshdon如果没设置启动就设置下.

#servicesshdrestart重新启动

#netstat-antp|grepsshd看是否启动了22端口.确认下.

#iptables-nL看看是否放行了22口.

#setup---->防火墙设置如果没放行就设置放行.

五、修改Hadoop配置文件

Hadoop配置文件在该目录下:/usr/hadoop-2.7.2/etc/hadoop/

1)修改hadoop-env.sh

主要是修改java_home路径

# vi /usr/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

吉利彩票平台注册 7

2)修改yarn-env.sh

主要是修改java_home路径

# vi /usr/hadoop-2.7.2/etc/hadoop/yarn-env.sh

吉利彩票平台注册 8

3)修改core-site.xml

# vi /usr/hadoop-2.7.2/etc/hadoop/core-site.xml

吉利彩票平台注册 9

4)修改hdfs-site.xml

# vi /usr/hadoop-2.7.2/etc/hadoop/hdfs-site.xml

吉利彩票平台注册 10

俩个目录需要手动创建

# mkdir -p /usr/hadoop-2.7.2/tmp/dfs/name/

# mkdir -p /usr/hadoop-2.7.2/tmp/dfs/data/

5)修改mapred-site.xml

指定mr运行在yarn上

# vi /usr/hadoop-2.7.2/etc/hadoop/mapred-site.xml

吉利彩票平台注册 11

需要注意的是,并没有mapred-site.xml文件的,但是有mapred-site.xml.template

所以我们只需要将这个mapred-site.xml.template更名为mapred-site.xml即可。

6)修改yarn-site.xml

指定yarn(ResourceManager)运行的地址,以及reducer获取数据的方式

# vi /usr/hadoop-2.7.2/etc/hadoop/yarn-site.xml

吉利彩票平台注册 12

2、选择java-1.8.0安装

配置hadoopssh密钥

#su-hadoop:切换到hadoop用户;

$ssh-keygen-trsa

$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

$chmod0600~/.ssh/authorized_keys

$exit

六、关闭防火墙

# systemctl stop firewalld

# systemctl disable firewalld

1[root@localhost ~]# yum install java-1.8.0-openjdk*

安装hadoop

到hadoop官网上下载相应格式的源文件,我下的是hadoop2.6.0,解压后将得到的文件夹赋予当前用户执行权限

chmoda x文件增加文件所有用户组可执行权限

chown-Rliu/usr/local/hadoop-2.6.0/(liu是当前用户名)

然后hadoop2.6.0的三种安装模式可以参考官方文档

我按照伪分布式模式进行安装的。

七、格式化Hadoop

# hdfs namenode -format

出现以下内容则表示格式化成功。

吉利彩票平台注册 13

3、配置环境变量

运行Wordcount实例

八、启动dfs以及yarn

# start-all.sh  #或者执行以下俩条命令start-dfs.sh start-yarn.sh

1[root@localhost ~]# vi /etc/profile

在一个文件夹下创建两个文件

如我在/home/liu/practice文件夹下创建两个文本文件

$echo“HelloWorld”>file1.txt

$echo“HelloHadoop”>file2.txt

$ll(可以查看创建的文件,用cat可以看文件内容)

九、验证

# jps

吉利彩票平台注册 14

这里jdk1.8.0的文件夹路径是/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-1.b15.el7_2.x86_64

创建输入文件夹

$hadoopfs-mkdir/user/input

$hadoopfs-ls/user(显示创建的input目录信息)

十、web管理界面

浏览器访问:

吉利彩票平台注册 15

部署完成。

添加如下内容,

将上面创建的文本文件复制到input目录下

$hadoopfs-put/home/liu/practice/file*.txt/user/input

$hadoopfs-ls/user/input(显示复制后的内容)

1

运行和查看结果

$hadoopjar/usr/local/hadoop/hadoop-examles-2.6.0.jarwordcount/user/input/user/output

$hadoopfs-ls/user/output(查看输出内容,结果就在part-r-00000中)

$hadoopfs-cat/user/output/part-r-00000(查看输出结果)

吉利彩票平台注册 16

最近在学习弄hadoop,遇到很多麻烦,这里记录下来是方便以后回头查看。我用的VMwareWorkstation10.0.4下安装...

2

3

4

5

6

#set java environment

JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-1.b15.el7_2.x86_64

JRE_HOME=$JAVA_HOME/jre

CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH

4、环境变量生效

1[root@localhost ~]# source /etc/profile

5、查看jdk是否安装成功

1[root@localhost ~]# java -version

吉利彩票平台注册 17

OK,jdk1.8安装搞定!

TAG标签:
版权声明:本文由吉利彩票平台注册-吉利彩票平台官方注册-官网推荐发布于人才队伍,转载请注明出处:CentOS下Hadoop搭建与wordcount实例运转,2伪布满式布