本文介绍: NameNode (NN) 端口:在Hadoop 2.x中,NameNode默认HTTP UI端口是50070,内部通常端口是8020/9000。在Hadoop 3.x中,这个端口改为9870,内部通常端口是8020/9000/9820。DataNode (DN) 端口:Hadoop 2.x中,DataNode默认HTTP UI端口是50075。在Hadoop 3.x中,该端口变更为9864。YARN ResourceManager (RM) 端口:Hadoop 2.x中的Resourc

2.x 和 3.x 的区别

Java最小支持版本

常用端口号

  • NameNode (NN) 端口:
    • 在Hadoop 2.x中,NameNode默认HTTP UI端口是50070,内部通常端口是8020/9000。
    • 在Hadoop 3.x中,这个端口被改为9870,内部通常端口是8020/9000/9820。
  • DataNode (DN) 端口:
  • YARN ResourceManager (RM) 端口:
    • Hadoop 2.x中的ResourceManager HTTP UI端口通常是8088。
    • 这个端口在Hadoop 3.x中保持不变,仍为8088。

配置文件

<!-- 环境变量继承 -->
<property>
	&lt;name&gt;yarn.nodemanager.env-whitelist</name&gt;
	<value&gt;JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value&gt;
</property&gt;

Classpath隔离

在Hadoop 3.x中,通过改进路径隔离来防止不同版本jar之间冲突,这在使用Hadoop、HBase和Spark混合环境时特别有用。

NodeManager重连

Hadoop 2.x: NodeManager不会自动重连到ResourceManager。
Hadoop 3.x: NodeManager可以自动重连到ResourceManager。

搭建部署时,务必参考相应版本的官方文档,以确保按照最新指南进行操作。这样可以确保系统能够充分利用特性并保持最佳的性能稳定性。

进入官网自行查阅

具体内容可以Index of /docs (apache.org) 中找对应版本的文档

在这里插入图片描述

HDFS 的 Shell 命令这里 Apache Hadoop 3.3.1 – Overview

在这里插入图片描述

Java API 文档在最下面 Overview (Apache Hadoop Main 3.3.1 API)

在这里插入图片描述
在这里插入图片描述

再下面就是各个配置文件里面有所有参数名称对应的值,以及它的解释

在这里插入图片描述

原文地址:https://blog.csdn.net/qq_61828116/article/details/134721016

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_38970.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注