hadoop的安装与部署

Q1：安装部署hadoop 从节点jps命令报错

jps在java安装目录的bin目录下
你可以到java-bin目录下去执行
或者把java-bin添加到PATH的环境变量中

WWW.BAZHISHi.c▶OM

Q2：linux下从安装JDK到安装ssh到hadoop单机伪分布式部署

环境：ubuntu 10.10 JDK1.6.0.27 hadoop 0.20.2

一. ubuntu 下JDK 的安装：

1. 下载jdk-6u27-linux-i586.bin

2. 拷贝到/usr/java，设置文件的操作权限

3. $ ./jdk-6u27-linux-i586.bin开始安装

JAVA_HOME=/usr/Java/jdk1.6.0_27

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

export PATH JAVA_HOME CLASSPATH

5. 设置用户安装的JDK为默认JDK，执行

$ update-alternatives --install /usr/bin/java java /usr/lib/jvm/java/jdk1.6.0_12/bin/java 300

$ update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java/jdk1.6.0_12/bin/javac 300

$ update-alternatives --config java

6. 输入java -version 成功安装

二.ubuntu下安装ssh:

1. $ sudo apt-get install openssh-server

2. 启动ssh /etc/init.d/ssh start

3. $ ps -egrep ssh 来验证是否启动sshserver

4. 免密码化

$ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

三.ubuntu 下安装hadoop：

1. 下载hadoop-0.20.2.tar.gz，放在/usr/hadoop 下载地址http://apache.etoak.com//hadoop/core/

2. 解压$ tar zxvf hadoop-0.20.2.tar.gz

3. 修改hadoop配置文件

conf/hadoop-env.sh 修改JAVA_HOME选项：

export JAVA_HOME=/usr/java/jdk.1.6.0_27

4. 伪分布式单机配置

conf/core-site.xml

<?xml version=1.0?>

<?xml-stylesheet type=text/xsl href=https://www.bazhishi.com/aldyjtapi/configuration.xsl?>

fs.default.name

hdfs://localhost:9000

conf/hdfs-site.xml:

<?xml version=1.0?>

<?xml-stylesheet type=text/xsl href=https://www.bazhishi.com/aldyjtapi/configuration.xsl?>

dfs.replication

1

conf/mapred-site.xml:

<?xml version=1.0?>

<?xml-stylesheet type=text/xsl href=https://www.bazhishi.com/aldyjtapi/configuration.xsl?>

mapred.job.tracker

localhost:9001

5. 创建hdfs文件系统

$ bin/hadoop namenode -format

6. 启动hadoop 需要先启动ssh $ /etc/init.d/ssh start

$ bin/hadoop start-all.sh

7. 在hadoop下创建test目录，然后建立file1.txt file2.txt 写入几个单词；将hadoop/test下的测试文件上传到hadoop 文件系统中

$ bin/hadoop dfs -put ./test input

8. 运行wordCount例子

$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output

9. 把结果从dfs上拷贝下来

$ bin/hadoop dfs -get output output

10. 查看结果

$ cat output/* 也可以直接查看$ bin/hadoop dfs -cat output/*

11. 停止hadoop运行

$ bin/hadoop stop-all.sh

12. 关闭ssh-server

$ /etc/init.d/ssh stop

摘自：daniel的专栏

Q3：为了做hadoop 不做raid 服务器操作系统的安装部署怎么办

华官网查询所购买服务器型号应RAID整列卡及所需安装操作系统版本驱程序亦通服务器配置清单货机自检信息查看服务器锁配备RAID卡型号载相应驱安装操作系统程Server2003、xp系列需要驱程序存放于软盘系统安装程按照提示按F6进行加载安装server2008、Win7及版本直接通优盘进行加载linux系列操作系统借助软盘货优盘挂载加载目前主流操作系统已经包含部厂商RAID驱尝试直接安装看能否匹配系统镜像自带驱程序WwW.bAzHISh@I.CoM

Q4：学习hadoop到底是部署伪分布式还是安装集群

先回答你标题的提问：hadoop完全分布式：3个及以上的实体机或者虚拟机组件的机群。hadoop伪分布式：一个节点看了以上两点相信你已经明白了，“用vm多装几个unbuntu配置完全分布式，然后做实验”这是完全可行的。实际上我们通常也是这么做的，当然可能要求你的电脑cpu和内存足够支撑你这一计划。一点建议：如果你要开发基于Hadoop的分布式程序，伪分布式足够你实验了。如果你要做很多其他事情，比如玩玩cm，玩玩oozie，玩玩hbase，建议装多个虚拟机。