2.0 Hadoop 运行环境_代码007(未授权)

本文介绍: 为了解决这些问题，我们有一个非常成熟的方式。Docker 是一个容器管理系统，它可以向虚拟机一样运行多个”虚拟机”（容器），并构成一个集群。因为虚拟机会完整的虚拟出一个计算机来，所以会消耗大量的硬件资源且效率低下，而 Docker 仅提供一个独立的、可复制的运行环境，实际上容器中所有进程依然在主机上的内核中被执行，因此它的效率几乎和主机上的进程一样（接近100%）。本教程将会以 Docker 为底层环境来描述 Hadoop 的使用，如果你不会使用 Docker 并且不了解更好的方式，请学习。

由于 Hadoop 是为集群设计的软件，所以我们在学习它的使用时难免会遇到在多台计算机上配置 Hadoop 的情况，这对于学习者来说会制造诸多障碍，主要有两个：

为了解决这些问题，我们有一个非常成熟的方式 Docker。

Docker 是一个容器管理系统，它可以向虚拟机一样运行多个”虚拟机”（容器），并构成一个集群。因为虚拟机会完整的虚拟出一个计算机来，所以会消耗大量的硬件资源且效率低下，而 Docker 仅提供一个独立的、可复制的运行环境，实际上容器中所有进程依然在主机上的内核中被执行，因此它的效率几乎和主机上的进程一样（接近100%）。

本教程将会以 Docker 为底层环境来描述 Hadoop 的使用，如果你不会使用 Docker 并且不了解更好的方式，请学习 Docker 教程。

进入 Docker 命令行之后，拉取一个 Linux 镜像作为 Hadoop 运行的环境，这里推荐使用 CentOS 镜像（Debian 和其它镜像暂时会出现一些问题）。

docker pull centos:8

然后通过 docker images 命令可以查看到当前本地的镜像：

docker run -d --name=java_ssh_proto --privileged centos:8 /usr/sbin/init

docker exec -it java_ssh_proto bash

sed -e 's|^mirrorlist=|#mirrorlist=|g' 
         -e 's|^#baseurl=http://mirror.centos.org/$contentdir|baseurl=https://mirrors.ustc.edu.cn/centos|g' 
         -i.bak 
         /etc/yum.repos.d/CentOS-Stream-AppStream.repo 
         /etc/yum.repos.d/CentOS-Stream-BaseOS.repo 
         /etc/yum.repos.d/CentOS-Stream-Extras.repo 
         /etc/yum.repos.d/CentOS-Stream-PowerTools.repo

yum install -y java-1.8.0-openjdk-devel openssh-clients openssh-server

systemctl enable sshd && systemctl start sshd

systemctl enable ssh && systemctl start ssh

docker stop java_ssh_proto
docker commit java_ssh_proto java_ssh

docker run -d --name=hadoop_single --privileged java_ssh /usr/sbin/init

docker cp <你存放hadoop压缩包的路径> hadoop_single:/root/

docker exec -it hadoop_single bash

cd /root

tar -zxf hadoop-3.1.4.tar.gz

mv hadoop-3.1.4 /usr/local/hadoop

echo "export HADOOP_HOME=/usr/local/hadoop" >> /etc/bashrc
echo "export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin" >> /etc/bashrc

echo "export JAVA_HOME=/usr" >> $HADOOP_HOME/etc/hadoop/hadoop-env.sh
echo "export HADOOP_HOME=/usr/local/hadoop" >> $HADOOP_HOME/etc/hadoop/hadoop-env.sh