Q1：配置完全分布式hadoop，yarn，为什么slave上不能启动nodemanager
配置hbase远程调试
打开/etc/hbase/conf/hbase-env.sh，找到以下内容：
# Enable remote JDWP debugging of major HBase processes. Meant for Core Developers
# export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8070"
# export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8071"
# export HBASE_THRIFT_OPTS="$HBASE_THRIFT_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8072"
# export HBASE_ZOOKEEPER_OPTS="$HBASE_ZOOKEEPER_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8073"
如果想远程调式hbase-master进程，请去掉对HBASE_MASTER_OPTS的注释，其他依次类推。注意，我这里使用的是cdh-4.3.0中的hbase。
配置hive远程调试
停止hive-server2进程，然后以下面命令启动hive-server2、hive --service hiveserver --debug
进程会监听在8000端口等待调试连接。如果想更改监听端口，可以修改配置文件:${HIVE_HOME}bin/ext/debug.sh
如果Hadoop是0.23以上版本，debug模式启动Cli会报错：
ERROR: Cannot load this JVM TI agent twice, check your java command line for duplicate jdwp options.
打开${Hadoop_HOME}/bin/hadoop，注释掉以下代码
# Always respect HADOOP_OPTS and HADOOP_CLIENT_OPTS
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
配置yarn远程调试
请在以下代码添加调试参数：
if [ "$COMMAND" = "classpath" ] ; then
if $cygwin; then
CLASSPATH=`cygpath -p -w "$CLASSPATH"`
fi
echo $CLASSPATH
exit
elif [ "$COMMAND" = "rmadmin" ] ; then
CLASS=org.apache.hadoop.yarn.client.RMAdmin
YARN_OPTS="$YARN_OPTS $YARN_CLIENT_OPTS"
elif [ "$COMMAND" = "application" ] ; then
class="org".apache.hadoop.yarn.client.cli.ApplicationCLI
YARN_OPTS="$YARN_OPTS $YARN_CLIENT_OPTS"
elif [ "$COMMAND" = "node" ] ; then
class="org".apache.hadoop.yarn.client.cli.NodeCLI
YARN_OPTS="$YARN_OPTS $YARN_CLIENT_OPTS"
elif [ "$COMMAND" = "resourcemanager" ] ; then
CLASSPATH=${CLASSPATH}:$YARN_CONF_DIR/rm-config/log4j.properties
CLASS=org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
YARN_OPTS="$YARN_OPTS $YARN_RESOURCEMANAGER_OPTS"
if [ "$YARN_RESOURCEMANAGER_HEAPSIZE" != "" ]; then
JAVA_HEAP_MAX="-Xmx""$YARN_RESOURCEMANAGER_HEAPSIZE""m"
fi
elif [ "$COMMAND" = "nodemanager" ] ; then
CLASSPATH=${CLASSPATH}:$YARN_CONF_DIR/nm-config/log4j.properties
CLASS=org.apache.hadoop.yarn.server.nodemanager.NodeManager
YARN_OPTS="$YARN_OPTS -server $YARN_NODEMANAGER_OPTS"
if [ "$YARN_NODEMANAGER_HEAPSIZE" != "" ]; then
JAVA_HEAP_MAX="-Xmx""$YARN_NODEMANAGER_HEAPSIZE""m"
fi
elif [ "$COMMAND" = "proxyserver" ] ; then
CLASS=org.apache.hadoop.yarn.server.webproxy.WebAppProxyServer
YARN_OPTS="$YARN_OPTS $YARN_PROXYSERVER_OPTS"
if [ "$YARN_PROXYSERVER_HEAPSIZE" != "" ]; then
JAVA_HEAP_MAX="-Xmx""$YARN_PROXYSERVER_HEAPSIZE""m"
fi
例如： 如果你想调试resourcemanager代码，请在elif [ "$COMMAND" = "resourcemanager" ] 分支内添加如下代码：
YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=6001"
其他进程，参照上面即可。
注意：端口不要冲突。
配置mapreduce远程调试
如果想要调试Map 或Reduce Task，则修改bin/hadoop已经没用了，因为bin/hadoop中没有Map Task的启动参数。
此时需要修改mapred-site.xml
在一个TaskTracker上，只能启动一个Map Task或一个Reduce Task，否则启动时会有端口冲突。因此要修改所有TaskTracker上的conf/hadoop-site.xml中的配置项：
在Eclipse中使用方法：
打开eclipse，找到Debug Configurations...，添加一个Remout Java Application:
在source中可以关联到hive的源代码,然后，单击Debug按钮进入远程debug模式。
编写个jdbc的测试类，运行代码，这时候因为hive-server2端没有设置端点，故程序可以正常运行直到结束。
在hive代码中设置一个断点，如ExecDriver.java的execute方法中设置断点，然后再运行jdbc测试类。
Q3：搭建hadoop集群 master和slaves都运行哪些服务
多个master也只有一个主，一个或者多个备，一般都是在主上面进行增删，从一般都是通过复制log进行同步。这也是所有的主从复制式集群的原理，例如redis，mysql都是如此。
Q4：hadoop docker镜像怎么启动slave
Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭 建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接近最小化的Hadoop镜像，...
Q5：安装Hadoop后，Slave机器中DataNode和TaskTracker自己停了
1 停掉集群
2 把slave机和master机上那个tmp.dir路径下的数据清空（有可能是因为你在上一次namenode -format之前忘了删除slave的数据导致的）
3 重新hadoop namenode -format
4 重新启动hadoop集群
w∽wW.bazhisHi.cOm
Q6：hadoop服务器怎么查看自己的slave
有两种方式，第一就是有一个slaves文件，一个是hadoop管理界面，比如webhdfs,或者商用产品自带的管理平台
