当前位置： 首页互联网正文 本文介绍: brocast join、SMB-join 一、Broadcast Hash Join 是效率最高的join 原理 先将小表聚合到 driver 端，再广播到各个大表分区中。那么 再次进行 join 的时候，就相当于大表的各自分区的数据与小表进行本地 join，从而避免了shuffle 配置 set spark.sql.autoBroadcastJoinThreshold=10m，默认为10m，一般情况下值太小，需要增大参数 二、SMB-JOIN sort merge bucket join 原理 sort merge bucket 操作，需要进行分桶，首先会进行排序，然后根据 key值合并，把相同 key 的数据放到同一个 bucket 中（按照 key 进行 hash）。分桶的目的其实 就是把大表化成小表。相同 key 的数据都在同一个桶中之后，再进行 join 操作，那么在联合的时候就会大幅度的减小无关项的扫描。 条件 1、连接的两张表都进行分桶，且桶的个数一样 2、两边进行 join 时，join 列=排序列=分桶列 原文地址:https://blog.csdn.net/a123op2346/article/details/134799036 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。 如若转载，请注明出处：http://www.7code.cn/show_47278.html 如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！ 主题授权提示：请在后台主题设置-主题授权-激活主题的正版授权，授权购买：RiTheme官网显示所有内容声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。bucketjoinsmb 代码007普通 打赏 收藏 海报 链接
