首页 技术 正文
技术 2022年11月18日
0 收藏 875 点赞 3,322 浏览 1218 个字

注意:必须在表定义时指定对应的partition字段。

一.指定分区

  1.单分区

    建表语句:create table day_table(id int, content string) partitioned by (dt string);

    单分区表,按天分区,在表结构中存在id,content,dt三列。

    以dt为文件夹区分。

  2.双分区

    建表语句:create table day_hour_table(id int,content string) partitioned by (dt string, hour string);

    双分区表,按天和小时分区,在表结构中新增加了dt和hour两列。

    先以dt为文件夹,再以hour子文件区分。

二.添加分区

  添加语句:ALTER TABLE table_name ADD [IF NOT EXISTS] PARTITION partition_spec [LOCATION ‘location’] partition_spec [LOCATION ‘location2’]…

  例子:ALTER TABLE day_table ADD PARTITION (dt=’2019-03-27′,hour=’20’)

三.删除分区

  删除语句:ALTER TABLE table_name DROP partition_spec,partition_spec…

  注意:内部表中对应分区的元数据和数据都将被一并删除。

  例子:ALTER TABLE day_hour_table DROP PARTITION (dt=’2019-03-27′,hour=’21’);

四.指定分区添加数据

  添加语句:LOAD DATA [LOCAL] INPATH ‘filepath’ [OVERWRITE] INTO TABLE tablename [PARTITION(partcol=val1,partcol2=val2…)]

  例子:

    1.LOAD DATA INPATH ‘/usr/pv.txt’ INTO TABLE day_hour_table PARTITION (dt=’2019-03-27′, hour=’21’);

    2.LOAD DATA local INPATH ‘/user/zhen/*’ INTO TABLE day_hour partition(dt=’2019-03-27′);

  注意:当数据被加载至表中时,不会对数据进行任何转换。LOAD操作只是将数据复制至Hive表对应的位置上。数据加载是会在表下自动创建一个目录。

五.查询

  查询语句:SELECT day_table.* FROM day_table WHERE day_table.dt>=’2019-03-27′; 

  注意:分区表的意义在于优化查询。查询时尽量利用分区字段。如果不使用分区字段,就会全表扫描。

六.查看表分区信息

  语句:SHOW PARTITIONS day_hour_table;

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,111
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,584
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,431
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,203
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,838
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,922