1) 安装jdk
下载jdk-6u21-linux-i586.bin
然后修改/etc/profile:
export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$PATH:$JAVA_HOME/bin
保存,并执行source /etc/profile
2) 配置host
Namenode的机器,需要配置集群中所有机器的ip
修改/etc/hosts
10.10.236.190 master 10.10.236.191 slave-A 10.10.236.193 slave-B
其他的datanode的/etc/hosts 只需要配置namenode的机器ip和本机ip
10.10.236.190 master
10.10.236.191 slave-A
修改hostname(可选)
vi /proc/sys/kernel/hostname
3) 建立ssh无密码登录
首先进到root目录下
root@master:~# $ssh-keygen -t rsa
进入.ssh目录
root@master:~/.ssh# cp id_rsa.pub authorized_keys
其余的datanode的机器
新建.ssh目录
root@slave-A:~# mkdir .ssh
在name(master)上远程拷贝
root@master:~/.ssh# scp authorized_keys slave-A:/root/.ssh/
测试ssh
4) 安装hadoop
下载Hadoop 解压到每台服务器的/data/soft
解压
root@master:/data/soft# tar zxvf hadoop-0.21.0.tar.gz
建立软连
root@master:/data/soft# ln -s hadoop-0.21.0 hadoop
然后修改/etc/profile
export HADOOP_HOME=/data/soft/hadoop export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
5) 配置hadoop
1.修改conf/hadoop-env.sh,添加jdk支持
export JAVA_HOME=/usr/local/jdk
如果ssh端口不是默认的22,在conf/hadoop-env.sh里改下。如:
export HADOOP_SSH_OPTS="-p 1234"
2.修改conf/core-site.xml,增加下面内容
<property> <name>fs.default.name</name> <value>hdfs://master:54310</value> //这个才是真正决定namenode </property> <property> <name>hadoop.tmp.dir</name> <value>/data/hdfs/tmp</value> //临时文件,有问题的时候,可以删除 <description>A base for other temporary directories.</description> </property>
3.修改conf/hdfs-site.xml,增加下面内容
<property> <name>dfs.name.dir</name> <value>/data/hdfs/name</value> //namenode持久存储名字空间,事务日志的本地路径 </property> <property> <name>dfs.data.dir</name> <value>/data/hdfs/data</value> //datanode存放数据的路径 </property> <property> <name>dfs.datanode.max.xcievers</name> <value>4096</value> </property> <property> <name>dfs.replication</name> <value>1</value> //数据备份的个数,默认是3 </property>
3.修改conf/mapred-site.xml,增加下面内容
<property> <name>mapred.job.tracker</name> //jobTracker的主机 <value>master:54311</value> </property>
4. .修改conf/masters,这个决定那个是secondarynamenode
master
5 .修改conf/slaves,这个是所有datanode的机器
slaves-A
slaves-B
6) 将配置好的hadoop拷贝到所有的datanode
root@master:/data/soft/hadoop/conf# scp -rp /data/soft/hadoop-0.21.0 10.10.236.191:/data/soft/hadoop-0.21.0
在datanode上建立对应的软连
7) 格式化hdfs文件系统的namenode
root@master:/data/soft/hadoop# bin/hadoop namenode –format
输入Y
8) 启动hadoop集群
root@master:/data/soft/hadoop# bin/start-all.sh
9) Hdfs操作
建立目录
root@master:/data/soft/hadoop # bin/hadoop dfs -mkdir testdir
查看现有文件
root@master:/data/soft/hadoop # bin/hadoop dfs -ls
10) 关闭Hdfs
root@master:/data/soft/hadoop# bin/stop-all.sh
相关推荐
机房hadoop集群部署
Hadoop集群部署方案.docx
计算Hadoop:快速部署Hadoop集群 详细的Hadoop集群部署文档,对您绝对有用~
Hadoop集群部署完整版
实验报告二:Hadoop集群部署前期准备-实验报告模板.docx
Hadoop集群的规划,系统环境准备,配置NTP时间服务器,配置无密钥登录,安装配置JDK,,安装配置zooKeeper集群,安装配置Hadoop集群
本人亲手操作搭建Hadoop集群成功,并通过Eclipse进行MapReduce程序的开发,步骤详细完整,在相关过程中配有完整代码和解释,全程无误,只需复制粘贴即可,小白新手按步骤一步一步来也能搭建Hadoop集群成功并进行...
鉴于网上很多关于hadoop集群部署的介绍都不是很完善,给出一份根据我个人实际安装经验写的详细部署文档。
Hadoop集群部署及测试实验(一)
Hadoop集群部署及测试实验(二)
Hadoop集群部署及测试实验(三)
EasyHadoop集群部署文档\Hadoop常用命令\hadoop大数据架构生态技术简介\Hadoop权威指南\Hadoop实战
由于工作需要,最近一段时间开始接触学习 Hadoop 相关的东西,目前公司的实时任务和离线任务都跑在一个 Hadoop 集群,离线 任务的特点就是每天定时跑,任务跑完了资源就空闲了,为了合理的利用资源,我们打算在搭一...
hadoop作为大数据平台,经常需要部署集群,文档非常详细地介绍了hadoop集群的部署过程,两个节点master和slave
一个课程作业 Hadoop作为处理大数据的一个优秀分布式计算框架,在企业应用非常普通。而学习计算机这类实践性很强的学科,部署平台是学习的基本要求。纸上谈兵终觉浅,只有...因此我对Hadoop集群快速部署做了如下研究。
Hadoop集群部署资料,谁用谁知道,上课时要的培训资料
在CentOS上搭建hadoop之后,对hadoop进行集群部署(双虚拟机),思路很清晰,步骤很详细,最重要的是加注了很多个人经验,可避免阅读者犯错,很使用
超详细的hadoop部署详解,适合入门学习使用,大神勿扰