centos7下Hadoop集群搭建记录~~
1.安装配置jdk
(1)首先检查是否安装过JDK
rpm -qa | grep java
(2)卸载已安装的JDK
rpm -e –nodeps XXXXXXX{即通过rpm -qa | grep java查看到的已安装的jdk}
安装JDK
将下载的jdk移到CentOS上,我这里是放在/home/zyz/local/下,下载的版本是 jdk-8u161-linux-x64.tar.gz
(1)解压jdk:命令tar -xvzf jdk-8u161-linux-x64.tar.gz
(2)配置JDK
输入命令:vim /etc/profile ,并添加一下内容
1 | export JAVA_HOME=/home/zyz/local/jdk1.8.0_161 |
再输入命令:source /etc/profile 使其配置生效
(3)检验JDK环境
java -version
Javac -version
附
当遇到退出终端后环境变量不生效的情况,解决办法如下:
vim ~/.bashrc
然后最后一行添加 source /etc/profile
2.配置免密登录
2.1.修改主机名
vim /hostname,三台虚拟机分别改为master,slave1,slave2
2.2.添加域名映射
添加和hadoop集群对应的机器
vim /etc/hosts
1 | 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 |
2.3.生成秘钥
rpm -qa|grep ssh 命令
查询一下SSH是否已经安装,如果显示含有ssh字样的安装包,则说明centos7已经都替我们安装好了。
ssh-keygen -t rsa -P ‘’
注意:引号中间没有空格,表示没有密码
2.4.查看秘钥
Ls -la 查看生成的秘钥,看到.ssh文件则表明秘钥已生成
2.5.拷贝秘钥
拷贝密钥到本机,并拷贝到其它机器上(按2.3步到2.4步分别在各机器来一遍)
1 | ssh-copy-id master |
2.6.SSH登录检测
在任意一台机器上执行ssh master或ssh slave1检查是否登录成功
3.安装配置hadoop
3.1.安装hadoop
解压并移动到目标文件夹:mv hadoop-2.7.6 /usr/local
3.2.配置环境变量
vim /etc/profile 添加如下
1 | export JAVA_HOME=/home/zyz/local/jdk1.8.0_191 |
3.3.配置Hadoop
配置文件位置:usr/local/hadoop/etc/hadoop
vim hadoop-env.sh
1 | # The java implementation to use. |
vim core-site.xml
1 | <!-- Put site-specific property overrides in this file. --> |
vim hdfs-site.xml
1 | <configuration> |
vim mapred-site.xml
1 | <!-- Put site-specific property overrides in this file. --> |
vim yarn-site.xml
1 | <configuration> |
3.4.关闭防火墙
sudo systemctl disable firewalld #此命令在下次重启时生效,将永久关闭防火墙
sudo systemctl stop firewalld #只在本次运用时生效,下次开启机器时需重复此操作
sudo setenforce 0 #仅此次关闭selinux,下次开启机器时需重复此操作
#永久关闭selinux
vi /etc/selinux/config,将SELINUX=enforcing设置为SELINUX=disabled
1 | # SELINUX= can take one of these three values: |
3.5.启动hadoop
master下执行如下命令:
1 | hdfs namenode -format #第一次启动要执行格式化,之后启动不用执行这个 |
验证:jps,当看到如下结果则表示成功启动
1 | [zyz@master ~]$ jps |
1 | [zyz@slave2 ~]$ jps |
3.6.网页访问
通过windows本地访问hadoop web管理界面需要先配置真机的hosts文件
位置:C:\Windows\System32\drivers\etc,添加如下:
1 | 192.168.232.134 master |
4.hadoop基本操作
1 | #上传文件 |