大数据基础设施搭建 – Sqoop

本文介绍: 部署节点：在Had oop 集群的任意节点部署都可以，因为Had oop 配置文件中指出了Na m eNo de、ResourceMana g er在哪台节点上，并且配置文件分发到了所有节点上！–null–non–string：如果指定列为非字符串类型，使用指定字符串替换值为 null的该类列的值。–null–string：如果指定列为字符串类型，使用指定字符串替换值为 null的该类列的值。–field s–terminate d–b y：Hdfs 文本文件中，字段分隔符？–compress ion–code c：指定压缩格式。

文章 目录

一、上传压缩包
二、解压压缩包
三、配置环境变量（TODO）
四、修改配置文件
五、拷贝MySQL驱动
六、测试能否连接数据库
七、import MySQL to HDFS

一、上传 压缩包

官网：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/
简介：Had oop和关系数据库之间传输数据
部署节点：在Had oop 集群的任意节点部署都可以？？因为Had oop 配置文件中指出了NameNo de、ResourceMana g er在哪台节点上？？并且配置文件分发到了所有节点上？？需要部署在ResourceMana g er 节点！！！！！！！在hadoop104上部署试一试！！
注意：需要向Had oop 集群中所有NodeMana g er 节点开放MySQL端口号，因为Sqoop 本质是MR程序，需要将MR任务提交到YARN的ResourceMana g er节点，由集群NodeMana g er 计算，MR任务不一定被分配到哪个节点上，Sqoop-MR任务需要从MySQL读取数据，所以任何NodeMana ger节点都应该具有MySQL的读取权限。

二、解压 压缩包

[hadoop@hadoop102 software]$ tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

三、配置 环境变量（TODO）

sudo vim /etc/profile.d/my_env.sh

新增内容：

#SQOOP_HOME
export SQOOP_HOME=/opt/module/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

四、修改 配置文件

[hadoop@hadoop102 sqoop-1.4.6.bin__hadoop-2.0.4-alpha]$ cd conf/
[hadoop@hadoop102 conf]$ mv sqoop-env-template.sh sqoop-env.sh
[hadoop@hadoop102 conf]$ vim sqoop-env.sh

新增内容：

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.3

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3

五、拷贝MySQL驱动

[hadoop@hadoop102 software]$ cp mysql-connector-java-5.1.37.jar /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/

六、测试能否连接数据库

[hadoop@hadoop102 lib]$ cd /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/
[hadoop@hadoop102 sqoop-1.4.6.bin__hadoop-2.0.4-alpha]$ bin/sqoop list-databases --connect jdbc:mysql://mall:3306/ --username root --password 123456

七、import MySQL to HDFS

需求：将MySQL中gmall 库中的sku_info表导入到HDFS中。
–fields-terminated-by：Hdfs 文本文件中，字段分隔符？？？？
–compress：启动压缩（默认 gzip），压缩保存到HDFS的文件。
–compress ion–code c：指定压缩格式。
–null–str ing：如果指定列为字符串类型，使用指定字符串替换值为 null的该类列的值。
–null–non–str ing：如果指定列为非字符串类型，使用指定字符串替换值为 null的该类列的值。
N：hive中的null str ing格式。

注意：Sqoop本质是执行一个MR程序进行数据导入导出，所以需要向Yarn提交任务，即需要连接ResourceManager，所以ResourceManager所在机器需要向Sqoop所在机器开放8088端口。

/opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/bin/sqoop import 
--connect jdbc:mysql://mall:3306/gmall 
--username root 
--password 123456 
--target-dir /warehouse/db/gmall/sku_info/2023-11-17 
--delete-target-dir 
--query "select id,spu_id,price,sku_name,sku_desc,weight,tm_id,category3_id,is_sale,create_time from sku_info where $CONDITIONS" 
--num-mappers 1 
--fields-terminated-by 't' 
--compress 
--compression-codec gzip 
--null-string '\N' 
--null-non-string '\N'