Hadoop运行模式及目录结构

本文介绍: Had oop的运行模式主要包括本地模式、伪分布式模式以及完全分布式模式。本地模式：单机运行，主要用于演示官方案例，生产环境不使用。伪分布式模式：单机运行，但具备Had oop 集群的所有功能，一台服务器模拟一个分布式的环境。完全分布式模式：多台服务器组成分布式环境，生产环境使用。至于Had oop的目录结构，主要包括以下几个部分：bin 目录：存放对Had oop 相关服务（hdfs，yarn，map red）进行操作的脚本。etc 目录：Had oop的配置文件目录，存放Had oop的配置文件。

Had oop运行模式

说明：只是用来演示一下官方案例。生产环境不用。

这种模式也是在一台单机上运行，但是具备Hadoop 集群的所有功能，一台服务器模拟一个分布式的环境。不同于完全分布式的是，这种模式没用不同的 Jav a 进程模仿分布式运行中的各类结点 (Na m eNode,Da t aNode, Re sourceMana ger,Seconda ryNameNode)。

伪分布模式在“单节点集群”上运行 Ha doop，其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS 输入输出，以及其他的守护进程交互。

说明：少数经费不足的公司用来测试，生产环境不用。

真正的分布式，由3个及以上的实体机或者虚拟机组件的机群。表示集群中的节点会被分配成很多种角色，分散在整个集群中。

bin目录：存放对 Ha doop 相关服务（hdfs，yarn，map red）进行操作的脚本
etc目录：Ha doop 的配置文件目录，存放Hadoop的配置文件，包括 core–site.xml，hdfs–site.xml，yarn–site.xml，map red–site.xml，slave s（3.x 为 workers）等
lib目录：存放 Hadoop 的本地库，用于对数据进行压缩解压缩功能。
- HDFS meta data 以树状结构存储整个HDFS上的文件和目录，以及相应的权限、配额和副本因子等。
- dfs.namenode.name.dir 和 dfs.namenode.data.dir 是 HDFS Namenode 本地目录的存储结构 hadoop.tmp.dir 是一切路径的基石，NameNode、DataNode 等会将 HDFS 的元数据存储在这个路径下。
sbin目录：存放启动或停止 Hadoop 相关服务的脚本
share目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例

要获取的默认文件	文件存放在Hadoop的jar包中的位置
[core–default.xml]	hadoop–common-2.7.7.jar/co re–default.xml
[hdfs–de fa ul t.xml]	hadoop–h dfs-2.7.7.jar/h dfs–de fault.xml
[yarn–de fault.xml]	hadoop–yarn–common-2.7.7.jar/yarn–de fault.xml
[map red–de fault.xml]	hadoop–map reduce–client–co re-2.7.7.jar/map red-default.xml