高效率：使用DBeaver连接spark-sql

提高运行效率一般采取底层使用 spark 引擎替换成hive 引擎的方式提高效率，但替换引擎配置较为复杂考虑到兼容版本且容易出错，所以本篇将介绍使用DBe aver直接连接 spark–sql 快速操作 hive 数据库。

在spark 目录下运行以下命令，创建一个Sp a rkTh i r dSe r vi ce 端口号为10016

sudo -u root ./sbin/start-thriftserver.sh 
--hiveconf hive.server2.thrift.port=自定义端口号 
--hiveconf hive.server2.thrift.bind.host=主机ip地址 
--hiveconf spark.sql.warehouse.dir=hdfs://主机IP地址:hadoop端口/hive在hdfs下的路径目录
--master yarn 
--executor-memory 4G 
--conf spark.sql.shuffle.partitions=10

主机地址和端口自己按照自己的环境需要更改

每次重启后运行启动都要执行，可自己编写为sh 文件执行

在/home下创建一个 client–sap rk–sql

vi /home/client-saprk-sql

将启动Sp ar kThirdServi ce 内容写入到文件中：

这里写了该文件的绝对路径

sudo -u root /opt/module/spark/sbin/start-thriftserver.sh 
--hiveconf hive.server2.thrift.port=10016 
--hiveconf hive.server2.thrift.bind.host=192.168.10.137 
--hiveconf spark.sql.warehouse.dir=hdfs://192.168.10.137:9000/user/hive/warehouse 
--master yarn 
--executor-memory 4G 
--conf spark.sql.shuffle.partitions=10

执行：

sh /home/client-saprk-sql

编辑连接：

测试连接成功

建个表插入数据测试一下：

CREATE TABLE test_table (
    id STRING,
    name STRING
);

INSERT INTO test_table VALUES ('1', 'John');
INSERT INTO test_table VALUES ('2', 'Jane');

使用sp ar k-sql方式操作hive插入速度非常快

原文地址:https://blog.csdn.net/d a fsq/a rt icle/d etails/134714394

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。

如若转载，请注明出处：http://www.7code.cn/show_18355.html

如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。

相关文章

发表回复 取消回复

发表回复取消回复