本地虚拟机搭建

一、准备网段

在VMware虚拟网络编辑器中将VMnet8虚拟网卡

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、下载CentOS操作系统文件,并安装
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三、克隆多台虚拟机

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

依照同样的方法,克隆出node2,node3,共三台虚拟机

在这里插入图片描述

四、对每台虚拟机设置相关硬件内存
在这里插入图片描述

五、虚拟机系统设置

①、主机名ipSSH免密登录

Ⅰ、node1,192.168.88.131

进入命令终端首先要切换root权限 suroot 或者 su

# 修改主机名
hostnamectl set-hostname node1

# 修改IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR="192.168.88.131" # 文件内容添加,如下截图所示子网掩码网关、DNS相同

# 重启网卡
systemctl stop network
systemctl start network

#或者直接
systemctl restart network

在这里插入图片描述

node2,192.168.88.132
node3,192.168.88.133

Ⅱ、配置主机名映射
在这里插入图片描述

Ⅲ、配置三台服务器root用户之间免密互通
在这里插入图片描述

Ⅳ、为了避免root用户权限造成的安全问题,为三台虚拟机创建一个hadoop用户配置免密登录
在这里插入图片描述
通过在node3,输入命令ssh node1或者ssh node2都可以通,然后exit退出

②、JDK环境部署

官网下载jdk8以上的linux安装包.tar.gz
在这里插入图片描述
在这里插入图片描述

③、防火墙、SELinux时间同步

集群软件之间需要通过端口互相通讯,为了避免出现网络不通的问题可以在集群内部关闭防火墙,并且关闭开启自启功能
systemctl status firewalld 查看防火墙状态
在这里插入图片描述
Linux一个安全模块,SELinux用以限制用户程序相关权限,确保系统安全稳定
需要关闭SELinux功能,避免导致后面的软件运行出现问题通过init 6命令,或者init 0进行重启
在这里插入图片描述

修改时期并配置自动时间同步
在这里插入图片描述
步骤2实操
在这里插入图片描述

六、为上述设置保存一个快照,以备后续恢复
在这里插入图片描述
三台虚拟机关机之后,右键->快照
在这里插入图片描述

==================================================

平台

在这里插入图片描述

阿里

购买阿里云服务器

一、配置VPC和子网

VPC云上专属私有局域网virtual private cloud),可提供/16级别子网掩码(65535个IP)
支持创建多个子网交换机
在这里插入图片描述
注册阿里云账号进入控制台,找到专有网络VPC
创建专有网络
在这里插入图片描述
在这里插入图片描述

创建专有网络
子网是在VPC内部创建的局域网络,可以在一个VPC内创建多个子网
子网支持/17至/29的子网掩码,可以支持约8到65535个IP地址
在这里插入图片描述
在这里插入图片描述
VPC相当于拉了一个家庭带宽属于个人私有网络
一个子网就相当于放了一个路由器,3个子网就相当于放了3个路由器

二、创建安全

云上虚拟流量防火墙称为安全
被安全组绑定资源比如服务器),其网络流量的进出都是被安全组所控制

搭建大数据集群,需要一个安全组来控制服务器和外部交互通过安全组来控制网络流量
在这里插入图片描述
在这里插入图片描述
方向需要删除默认规则,创建自己规则
方向:允许云服务器随意访问外部
在这里插入图片描述

创建自定义的入站规则:即允许自己公网IP,访问安全组的全部端口
①、查询自己公网IP(以下两种方法
在这里插入图片描述
②、只允许自己ip访问
在这里插入图片描述

三、创建云服务器ECS
在这里插入图片描述
在这里插入图片描述
任意选择适合自己的各种模式和地区
在这里插入图片描述
根据自己的要求cpu内存选择筛选便宜
在这里插入图片描述
选择适合自己的系统和存储
在这里插入图片描述
网络、公网IP设置、安全组(前面设置好的)
在这里插入图片描述
在这里插入图片描述

选择采用密钥对的方式,通过创建密钥生成
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
全部创建完成
在这里插入图片描述
按照以上步骤,创建node2,node3,(密钥对相同)
在这里插入图片描述
通过公网私钥,进行登录操作
在这里插入图片描述

阿里云服务器系统设置

相较于本地虚拟机配置,云平台只需要以下三项配置:
在这里插入图片描述
①、主机名映射

三台node节点上,vim /etc/hosts
在这里插入图片描述
②、SSH免密登录

cd .ssh/,上传配置服务器时的密钥到三台node节点服务器,并且更改名称然后400授权
在这里插入图片描述

通过ssh node2,进行测试。exit退出

③、创建hadoop用户免密登录
在这里插入图片描述
在这里插入图片描述
不同root用户服务器已经创建好,直接上传即可
hadoop用户,需要通过sshcopyid 进行。

需要在三台节点执行以下操作

ssh-copy-id node1
#设置密码:123456
ssh-copy-id node2
#设置密码:123456
ssh-copy-id node3
#设置密码:123456

在这里插入图片描述

④、为三台服务上传jdk安装包

mkdirp /export/server
将JDK安装解压到上面的目录中:tar -zxvf jdkxxx.tar.gz -C /export/server

配置软链接lns /export/server/jdk1.8.0 jdk

vim /etc/profile
配置环境变量
在这里插入图片描述
在这里插入图片描述


UCloud云购买虚拟

在这里插入图片描述
一、配置UVPC
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、配置安全组

在这里插入图片描述
在这里插入图片描述

三、创建服务器
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

同样的方式创建node2和node3
然后通过fialshell工具进行连接
在这里插入图片描述

UCloud云服务器设置

一、设置主机名以及主机映射

hostnamectl set-hostname node1(node2,node3)
vim /etc/hosts # 三台服务器的内网地址

在这里插入图片描述

二、SSH免密

①、进入cd .ssh/
上传密钥文件并改名 mv bigdatakeycloud.pem id_rsa
修改权限chmod 400 id_rsa

通过 ssh node1 ssh node2 ssh node3进行测试,exit退出

②、创建hadoop用户免密登录

三台服务器都执行如下
在这里插入图片描述

三台服务器都执行

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

在这里插入图片描述

三、JDK环境

mkdirp /export/server

上传jdk安装包,并解压
然后配置环境变量
在这里插入图片描述
在这里插入图片描述

然后在node1中将文件复制到node2、node3中
在这里插入图片描述

原文地址:https://blog.csdn.net/usa_washington/article/details/134707194

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_28752.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注