目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume
三、资源规划
1.资源配置
| 主机名 | FQDN | IP | 服务器配置 |
|---|---|---|---|
| hdp01 | hdp01.hdp.com | 192.168.111.201/24 | 8c、8G、200GB+50GB |
| hdp02 | hdp02.hdp.com | 192.168.111.202/24 | 8c、8G、200GB+50GB |
| hdp03 | hdp03.hdp.com | 192.168.111.203/24 | 8c、8G、200GB+3*100GB |
| hdp04 | hdp04.hdp.com | 192.168.111.204/24 | 8c、8G、200GB+3*100GB |
| hdp05 | hdp05.hdp.com | 192.168.111.205/24 | 8c、8G、200GB+3*100GB |
2.磁盘规划
| 主机 | 磁盘分布 |
|---|---|
| hdp01 hdp02 |
/dev/sda：系统盘 /dev/sdb：/data01，MySQL、zookeeper、NameNode、JournalNode |
| hdp03 | /dev/sda：系统盘 /dev/sdb：/data01，zookeeper、DataNode、JournalNode /dev/sdc：/data02，DataNode /dev/sdd：/data03，DataNode |
| hdp04 hdp05 |
/dev/sda：系统盘 /dev/sdb：/data01，DataNode /dev/sdc：/data02，DataNode /dev/sdd：/data03，DataNode |
3.组件规划
| 组件 | 版本 | hdp01 | hdp02 | hdp03 | hdp04 | hdp05 | |
| ansible | 2.9.27 | ★ | |||||
| MySQL | 5.7.25 | ★ | ★ | ||||
| Ambari–metrics | Metrics Collector | 0.2.0 | ★ | ||||
| Metrics Monitor | ★ | ★ | ★ | ★ | ★ | ||
| Grafana | ★ | ||||||
| ZooKeeper | ZooKeeper Server | 3.4.6 | ★ | ★ | ★ | ||
| ZooKeeper Client | ★ | ★ | |||||
| HDFS | NameNode | 3.1.1.3.1 | ★ | ★ | |||
| DataNode | ★ | ★ | ★ | ||||
| JournalNode | ★ | ★ | ★ | ||||
| zkfc | ★ | ★ | |||||
| YARN | ResourceManager | 3.1.1 | ★ | ★ | |||
| NodeManager | ★ | ★ | ★ | ||||
| HistoryServer | ★ | ||||||
| TimelineService | ★ | ||||||
| Timeline Service Reader | ★ | ||||||
| Registry DNS | ★ | ||||||
| OpenLDAP | openldap–server | 2.4.44 | ★ | ★ | |||
| openldap–client | ★ | ★ | ★ | ★ | ★ | ||
| migrationtools | ★ | ★ | |||||
| phpldapadmin | ★ | ★ | |||||
| keepalived | v1.3.5 | ★ | ★ | ||||
| HaProxy | 1.5.18 | ★ | ★ | ||||
| kerberos | Krb5-server | 1.15.1 | ★ | ★ | |||
| krb5-workstation | ★ | ★ | ★ | ★ | ★ | ||
| Ranger | Ranger Admin | 1.2.0.3.1 | ★ | ★ | |||
| UserSync | ★ | ||||||
| Hive | HiveServer2 | 3.1.0 | ★ | ★ | |||
| MetaStore | ★ | ★ | |||||
| Tez | 0.9.1 | ★ | ★ | ★ | ★ | ★ | |
| HBase | HMaster | 2.0.2 | ★ | ★ | |||
| RegionServer | ★ | ★ | ★ | ||||
| Spark | Spark2 History Server | 2.3.0 | ★ | ||||
| Flink | client | 1.9.3 | ★ | ★ | ★ | ★ | ★ |
| Kafka | broker | 2.0.0 | ★ | ★ | ★ | ||
| kafka manager | 2.0.0.2 | ★ | |||||
| Flume | flume | 1.9.0 | ★ | ★ | ★ | ||
原文地址:https://blog.csdn.net/glisten0317/article/details/134725852
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_35320.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
