一、Broadcast Hash Join
- 原理
先将小表聚合到 driver 端，再广播到各个大表分区中。那么
再次进行 join 的时候，就相当于大表的各自分区的数据与小表进行本地 join，从而避免了shuffle - 配置
set spark.sql.autoBroadcastJoinThreshold=10m，默认为10m，一般情况下值太小，需要增大参数
二、SMB-JOIN
- 原理
sort merge bucket 操作，需要进行分桶，首先会进行排序，然后根据 key值合并，把相同 key 的数据放到同一个 bucket 中（按照 key 进行 hash）。分桶的目的其实
就是把大表化成小表。相同 key 的数据都在同一个桶中之后，再进行 join 操作，那么在联合的时候就会大幅度的减小无关项的扫描。 - 条件
1、连接的两张表都进行分桶，且桶的个数一样
2、两边进行 join 时，join 列=排序列=分桶列
原文地址:https://blog.csdn.net/a123op2346/article/details/134799036
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_47278.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
