（初学者强烈推荐）Ubuntu 配置hadoop 超详细教程（全过程）

本文介绍: 本文的教程仅为个人的操作经验所写，每个人下载的版本不一样，所以会出现不同的情况异常等，如有问题可询问博主或百度查找解决方法。

本文的教程仅为个人的操作经验所写，每个人下载的版本不一样，所以会出现不同的情况异常等，如有问题可询问博主或百度查找解决方法。
本机的配置环境如下：
hadoop(3.3.1)

Linux(64位)

在Ubuntu中用压缩包安装 jdk较为麻烦，需要配置系统环境变量和配置文件，一步出错可能无法使用。所以本文在Ubuntu中使用命令安装 jdk。其他方法安装 jdk也可。

 sudo apt-get install openjdk-8-jdk

java -version

sudo gedit ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #目录要换成自己jdk所在目录
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH

source ~/.bashrc

sudo apt-get install ssh openssh-server

cd ~/.ssh/

ssh-keygen -t rsa

cat id_rsa.pub &gt;> authorized_keys

<property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop-3.3.1/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
</property>

<property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop-3.3.1/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop-3.3.1/tmp/dfs/data</value>
        </property>

export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64"  # 根据自己的路径写

bin/hdfs namenode -format

sbin/start-dfs.sh

jps

hostname

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!--Resource Manager-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>liang-VirtualBox</value><!--你的hostname的主机名-->
</property>

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

sbin/start-yarn.sh

<property>
  <name>mapreduce.jobhistory.address</name>
  <value>主机名:10020</value>
  <description>MapReduce JobHistory Server IPC host:port</description>
</property>

<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>主机名:19888</value>
  <description>MapReduce JobHistory Server Web UI host:port</description>
</property>

<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/history/done</value>
</property>

<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/history/done_intermediate</value></property>

<property>  
    <name>yarn.log-aggregation-enable</name>  
    <value>true</value>  
</property>

mapred --daemon start historyserver

显示所有内容

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。

引言

1、安装 jdk

2、安装ssh 免密码登录

3、安装hadoop

4、运行hadoop

5、配置yarn

6、配置JobHistory（可不配）

发表回复取消回复

1、安装jdk

2、安装ssh免密码登录