首页 技术 正文
技术 2022年11月20日
0 收藏 328 点赞 3,312 浏览 1132 个字

1.Join优化

a.map join

b.reduce join

小表为驱动表,或直接将小表加载到内存,做map端join,它的关键字为/*+MAP JOIN(t1)*/

如果想自动开启map端Join,可以通过hive.mapjoin.smalltable.filesize(默认为25000000)来定义小表的大小,一旦在这个范围之内,就会自动进行map端Join

2.Reducer的数量

Hive作业Reducer数量会直接影响作业效率,Hive的Reducer的是通过如下两个参数确定

参数1:hive.exec.reducers.bytes.per.reducer默认为1GB

参数2:hive.exec.reducers.max默认为999

Reducer的个数=min(参数2,总输入数据量/参数1)

3.列裁剪和分区裁剪—减少作业输入,略过一些不需要的数据

hive.optimize.cp(列裁剪)、hive.optimize.pruner(分区裁剪)默认开启

4.Group by优化

Map端合并

参数1:hive.map.aggr是否在Map端进行聚合,默认为true

参数2:hive.groupby.mapaggr.checkinterval在Map端进行聚合操作的条目数目,默认为100000.

防止数据倾斜:hive.groupby.skewindata

如select count(*) from table group by key,如有数据倾斜,以key=1为准,其他情况进行聚合

5.合并小文件

当文件数目过多时,会给HDFS带来压力,可以通过合并Map和Reduce的输出文件来减少文件数。

参数1:hive.merge.mapfiles=true 是否合并Map阶段的输出文件

参数2:hive.merge.mapredfiles=true 是否合并Reduce阶段的输出文件

参数3:hive.merge.size.per.task=256000000合并的文件的大小默认为256000000

6.Multi-group By和Multi-insert

hive特有的语法,可以在同一个查询语句中使用多个不相交的insert语句,只需扫描一遍全表

如from test insert overwrite table test1 select a,count(e) group by a… insert overwrite…

7.利用Union All特性

合并多个MapReduce作业:select union all select—先合并再分组

8.并行执行—提高效率,但会抢占资源

参数1:hive.exec.parallel=true

9.全排序

hive-mapreduce:order by/sort by

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,075
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,551
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,399
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,176
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,811
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,893