1.运行环境
三台装有centOS 6.3 的电脑
OpenJDK 1.6
2下载hadoop,加压到你要放置的目录,最好是解压到/opt或者/usr/local目录下
3 创建hadoop群组和hadoop用户
groupadd hadoop
useradd hadoop -g hadoop
更改hadoop 用户的密码
在命令行输入:passwd
按提示输入密码
每台电脑上都要进行此步操作,且每个电脑上的hadoop用户的密码都要一样
4 配置免密钥ssh
若为安装ssh应该安装,笔者这里不再赘述,网上安装ssh的教程很多
以本人机器为例:
192.168.1.112 master
192.168.1.110 slave1
192.168.1.111 slave2
首先在slave2机器上的Terminal输入命令
ssh-keygen -t dsa -P '' -f ~/.ssh
再输入命令
cat id_dsa.pub >> authorized_keys(两个文件都应存放在.ssh目录下)
这步完了后,有很重要的一点需要注意下,你应该检查下你的.ssh文件夹的权限是否为700,authorized_keys的权限是否为600,如不是,则更改权限,否则将会出现permission denied错误
接着运行命令 scp ~/.ssh/authorized_keys slave1:/home/hadoop/.ssh
下一一步是重复在slave2机器上的操作,生成密钥
然后再 cat id_dsa.pub >> authorized_keys
scp ~/.ssh/authorized_keys master:/home/hadoop/.ssh
同样注意查看.ssh和authorized_keys的权限
在
matser以同样的方法生成密钥
然后执行cat id_dsa.pub >> authorized_keys
接着分发authorized_keys
scp ~/.ssh/authorized_keys slave1:/home/hadoop/.ssh
scp ~/.ssh/authorized_keys slave2:/home/hadoop/.ssh
4.配置hadoop相应的配置文件.这里笔者也不多说,网上很多。
这里要注意的地方是,你存放datanode 数据的地方不能是mount后的磁盘,因为存放data的文件夹权限必须是755
5 . 启动集群
看视频真的会成为高手吗?视频教学真的好吗,不会让人感到烦躁、困倦?大讲台(百度搜索即可)采用任务驱动的学习模式,提倡自适应的学习,学习者根据个人自身情况,制定学习步骤和学习任务;教学过程以文字为主要内容载体,期间穿插视频,回归教育以学员为主体的核心,重在学习效果,学习体验,欢迎有兴趣的童鞋免费体验学习,体验不一样的学习方式!
对了现在正是活动期间,全部课程最低仅需700元哦!!!
如果想学习Hadoop,推荐大讲台,大讲台性价比最高,实战项目最多。
看是hadoop哪个版本了,一般来说,至少4个