本地虚拟机的搭建
三、克隆多台虚拟机
Ⅰ、node1,192.168.88.131
进入命令终端首先要切换到root权限 su –root 或者 su –
# 修改主机名
hostnamectl set-hostname node1
# 修改IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR="192.168.88.131" # 文件内容添加,如下截图所示,子网掩码、网关、DNS相同
# 重启网卡
systemctl stop network
systemctl start network
#或者直接
systemctl restart network
node2,192.168.88.132
node3,192.168.88.133
Ⅳ、为了避免root用户权限造成的安全问题,为三台虚拟机创建一个hadoop用户并配置免密登录
通过在node3,输入命令ssh node1或者ssh node2都可以通,然后exit退出
集群化软件之间需要通过端口互相通讯,为了避免出现网络不通的问题,可以在集群内部关闭防火墙,并且关闭开启自启功能
systemctl status firewalld 查看防火墙状态
Linux有一个安全模块,SELinux用以限制用户和程序相关权限,确保系统的安全稳定
需要关闭SELinux功能,避免导致后面的软件运行出现问题(通过init 6命令,或者init 0进行重启)
六、为上述设置保存一个快照,以备后续恢复
三台虚拟机关机之后,右键->快照
==================================================
云平台
阿里云
购买阿里云服务器
VPC云上专属的私有局域网(virtual private cloud),可提供/16级别的子网掩码(65535个IP)
并支持创建多个子网(交换机)
注册阿里云账号,进入控制台,找到专有网络VPC
创建专有网络
创建专有网络
子网是在VPC内部创建的局域网络,可以在一个VPC内创建多个子网
子网支持/17至/29的子网掩码,可以支持约8到65535个IP地址
VPC相当于拉了一个家庭带宽,属于个人的私有网络
一个子网就相当于放了一个路由器,3个子网就相当于放了3个路由器。
二、创建安全组
云上的虚拟流量防火墙称为安全组
被安全组绑定的资源(比如服务器),其网络流量的进出都是被安全组所控制。
搭建大数据集群,需要一个安全组来控制服务器和外部的交互,通过安全组来控制网络流量
入方向需要删除默认规则,创建自己的规则
出方向:允许云服务器随意访问外部
创建自定义的入站规则:即允许自己的公网IP,访问安全组的全部端口
①、查询自己的公网IP(以下两种方法)
②、只允许自己ip访问
三、创建云服务器ECS
任意选择适合自己的各种模式和地区
根据自己的要求cpu和内存选择,筛选最便宜的
选择适合自己的系统和存储
网络、公网IP设置、安全组(前面设置好的)
选择采用密钥对的方式,通过创建密钥对生成
全部创建完成
按照以上步骤,创建node2,node3,(密钥对相同)
通过公网和私钥,进行登录操作
阿里云服务器系统设置
相较于本地虚拟机的配置,云平台只需要以下三项配置:
①、主机名映射
三台node节点上,vim /etc/hosts
②、SSH免密登录
cd .ssh/,上传配置服务器时的密钥到三台node节点服务器,并且更改名称,然后400授权
③、创建hadoop用户的免密登录
不同与root用户(服务器已经创建好,直接上传即可)
hadoop用户,需要通过ssh–copy–id 进行。
ssh-copy-id node1
#设置密码:123456
ssh-copy-id node2
#设置密码:123456
ssh-copy-id node3
#设置密码:123456
mkdir –p /export/server
将JDK安装包解压到上面的目录中:tar -zxvf jdkxxx.tar.gz -C /export/server
配置软链接:ln –s /export/server/jdk1.8.0 jdk
一、配置UVPC
二、配置安全组
三、创建服务器
同样的方式创建node2和node3
然后通过fialshell工具进行连接
UCloud云服务器设置
hostnamectl set-hostname node1(node2,node3)
vim /etc/hosts # 三台服务器的内网地址
二、SSH免密
①、进入:cd .ssh/
上传:密钥文件并改名 mv bigdata–key–cloud.pem id_rsa
修改权限:chmod 400 id_rsa
通过 ssh node1 ssh node2 ssh node3进行测试,exit退出
三台服务器都执行:
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
三、JDK环境
原文地址:https://blog.csdn.net/usa_washington/article/details/134707194
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.7code.cn/show_28752.html
如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除!