首页 技术 正文
技术 2022年11月20日
0 收藏 335 点赞 4,185 浏览 1761 个字

1. 背景

假设有如下SQL语句:

SELECT * FROM table1 LIMIT offset, rows

这是一条典型的LIMIT语句,常见的使用场景是,某些查询返回的内容特别多,而客户端处理能力有限,希望每次只取一部分结果进行处理。

上述SQL语句的实现机制是:

  1. 从“table”表中读取offset+rows行记录
  2. 抛弃前面的offset行记录,返回后面的rows行记录作为最终结果。

这种实现机制存在一个弊端:虽然只需要返回rows行记录,但却必须先访问offset行不会用到的记录。对一张数据量很大的表进行查询时,offset值可能非常大,此时limit语句的效率就非常低了。

2. 简单查询的LIMIT优化

假设表message表中有10万行记录,每次取1000条。
优化前:

SELECT message.* FROM message LIMIT 0,1000SELECT message.* FROM message LIMIT 1000,1000SELECT message.* FROM message LIMIT 2000,1000……SELECT message.* FROM message LIMIT 998000,1000SELECT message.* FROM message LIMIT 999000,1000

优化后(利用自增主键,避免offset的使用):

SELECT message.* FROM message WHERE uid>0 LIMIT 1000SELECT message.* FROM message WHERE uid>1000 LIMIT 1000SELECT message.* FROM message WHERE uid>2000 LIMIT 1000……SELECT message.* FROM message WHERE uid>998000 LIMIT 1000SELECT message.* FROM message WHERE uid>999000 LIMIT 1000

在笔者的机器上,优化前,SQL语句从前往后越来越慢(最后一条语句执行了150毫秒),而优化后,每条语句的耗时都是微妙级的。

3. 复杂查询的LIMIT优化

实际工程中遇到的查询,通常要复杂些,比如,多表查询、条件查询。这种情况下,查询结果通常不是按照自增主键的顺序逐一排列的。

例如,对于下述SQL语句,就不能像第二节那样优化了:

SELECT timerec FROM message WHERE evttype = 1 AND nodename = 'node1'LIMIT 0,1000……SELECT timerec FROM message WHERE evttype = 1 AND nodename = 'node1'LIMIT 999000,1000……

优化方案:建立临时表(含自增主键)存储数十万行的查询结果,之后用第二节的方法分多次访问临时表、获取数据。

  1. 创建临时表
CREATE TEMPORARY TABLE tmp_timerec( `uid` bigint(20) NOT NULL AUTO_INCREMENT, `timerec` datetime NOT NULL, PRIMARY KEY (`uid`)) 
  1. 插入查询结果到临时表
INSERT INTO tmp_timerecSELECT null,timerec FROM messageWHERE evttype = 1 AND nodename = ‘node1’
  1. 分多次查询临时表
SELECT timerec FROM tmp_timerec where uid > 0 LIMIT 1000……SELECT timerec FROM tmp_timerec where uid > 999000 LIMIT 1000

最后,附上MySQL性能优化系列的全部链接:

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,082
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,556
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,406
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,179
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,815
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,898