Skip to content

Latest commit

 

History

History
76 lines (49 loc) · 1.91 KB

4_集群搭建03.md

File metadata and controls

76 lines (49 loc) · 1.91 KB
Raw

启动方式

  • 需要启动HDFS和YARN
  • 首次启动HDFS需要进行格式化，本质是一些清理和准备工作，此时的HDFS在物理上还是不存在的
  • hdfs namenode - format
  • hadoop namenode - format

关于hdfs的格式化

  • 首次启动需要格式化
  • 本质是运行文件系统的初始化操作 创建一些自己所需要的文件
  • 格式化以后 集群启动成功 就不在需要进行格式化
  • 格式化的操作在HDFS集群的主角色namenode所在的机器操作

单节点逐个启动

  • 在主节点上使用命令启动HDFS NameNode
    • hadoop-daemon.sh start namenode
  • 在每个从结点上使用一下命令启动HDFS DataNode
    • hadoop-daemon.sh start datanode
  • 在主节点上使用以下命令启动YARN ResourceManager
    • yarn-daemon.sh start resourcemanager
  • 在每个从节点上使用以下命令启动YARN nodemanager
    • yarn-daemon.sh start nodemanager
  • 脚本地址
    • $HADOOP_PREFIX/sbin/

脚本一键启动

  • 前提：配置slaves和ssh免密登录

  • hdfs

    • $HADOOP_PREFIX/sbin/start-dfs.sh

  • yarn

    • $HADOOP_PREFIX/sbin/start-yarn.sh

  • 停止集群：stop-dfs.sh/stop-yarn.sh

  • jps：查看启动情况

集群web-ui

  • NameNode

    • http://nn_host:port /默认50070
    • eg:node-1:50070
    • 可以在这里看所有的文件

  • HDFS的使用

    • hdfs dfs -ls /
    • hdfs dfs -mkdir /hello
    • hdfs dfs -put xxx.cfg /hello

  • ResourceManager

    • eg： node-1：8088

    • 执行一个mapreduce程序

    • cd /export/server/hadoop/share/hadoop
cd mapreduce
hadoop jar hadoop-mapreduce-examples-2.7.4.jar pi 20 50