首页 技术 正文
技术 2022年11月15日
0 收藏 355 点赞 4,670 浏览 2947 个字

参考:

一  大的优化方向: 数据结构优化,慢查询优化,索引优化,mysql参数设置优化

数据结构优化:先读写分离、再垂直拆分、再水平拆分!

说3点

1. 设计合适的索引,基于主键的查找,上亿数据也是很快的;

2. 反范式化设计,以空间换时间,避免join,有些join操作可以在用代码实现,没必要用数据库来实现;

3. buffer,尽量让内存大于数据.

至于优化若是指创建好的表,不能变动表结构的话,那建议InnoDB引擎,多利用点内存,减轻磁盘IO负载,因为IO往往是数据库服务器的瓶颈

来自:http://www.zhihu.com/question/19719997

我的问题:两个数据库,database A 和 B(be)  ;每个都有两个表event和id

A

id表增长到不会超过1亿,然后会有频繁的更新.更新需要查找id值。这个亦可以分表。按照gid的不同,在程序中处理插入不同哦功能的表

每天生成一个新表,然后整体再插入总表??

event表一直累加,会超过1亿,需要自动切表

问题:1  数据库是否是瓶颈?  再开几个进程看数据库插入更新会不会有加速现象.多开程序的作用已经不大,很微小。所以瓶颈在数据库上了

2 瓶颈在哪里?  insert时间花费0–100毫秒  ,update 100–1000ms

具体做法:

原来查看速度:

Com_insert                    100

Com_update                    30

以下测试再关闭程序debug日志的情况下进行

使用gprof分析程序得到 parsesql占23.5%,parseupdatesql15.5%,jsontomap占23.5,推测数据库执行占40%?

1     程序是瓶颈,开了6个进程

原来速度:

2013.09.26 。10:00        开了6个进程来跑。速度

第一次测试    第二次测试

Com_insert                    489                     342

Com_update                   204                     182

措施:加内寸,拆表

得到结论: 1  只写入event表,看会不会堵塞。不需要做这个实验,DBA自动切表就行,这样就很小。

2      数据库表很大的时候,主要考虑IO速度慢的问题,因为表太大,不能全部放进内存,所以需要硬盘IO,引起速度慢。

1 查看表大小,event表占35G,gid表占3G。

数据库设定的内存大小是10G,event是在太大了,导致频繁的磁盘IO。

A   gid

TABLE_NAME  | DATA_LENGTH | DATA_LENGTH+INDEX_LENGTH | TABLE_ROWS |

+————-+————-+————————–+————+

| Mapping_gid |  2980036608 |               3606970368 |    5162861 |

+————-+————-+————————–+———–

event

+————————+————-+————————–+————+

| TABLE_NAME             | DATA_LENGTH | DATA_LENGTH+INDEX_LENGTH | TABLE_ROWS |

+————————+————-+————————–+————+

| Mapping_event_20130925 | 29944184832 |              33361494016 |   61712037 |

+————————+————-+————————–+————+

B  gid

+————-+————-+————————–+————+

| TABLE_NAME  | DATA_LENGTH | DATA_LENGTH+INDEX_LENGTH | TABLE_ROWS |

+————-+————-+————————–+————+

| Mapping_gid |  2173698048 |               2702901248 |    4216890 |

+————-+————-+————————–+————+

event

————————+————-+————————–+————+

| TABLE_NAME             | DATA_LENGTH | DATA_LENGTH+INDEX_LENGTH | TABLE_ROWS |

+————————+————-+————————–+————+

| Mapping_event_20130925 |  6227492864 |               6919553024 |   15018002 |

对策:把event按每天备份 ; 这样每天的event表就很小。

结果:

第一次测试

Com_insert

Com_update                    552

3  修改程序,原来程序insert不成功然后再update,改成insert into  duplicate

可以解决的问题:1 多个进程写数据,id会跳跃性自增    2  两条变一条

各位,请教一个mysql问题。

说明:数据库id是主键,gid是唯一索引。insert into duplicate使用gid作为条件。

问题如下:

昨天我使用insert into duplicate 试验了很久、

我开了两个进程。都执行insert into duplicate语句。

进程A事实上只执行update,进程B 事实上只执行insert

单独开A时,id不变,单独开B,id是顺序增长同时开A,B,id跳跃性增长的。

可有什么解决方案推荐,使得id是顺序+1增长的?

解释: 只能说 insert
into duplicate 也使得id 自增了.但是如果后来执行的是update操作,撤销了.

可设置 innodb_autoinc_lock_mode = 0 使的获取自增id的锁方式为表锁,
但是此参数是全局的(即影响所有表,且需重启数据库生效),对于高并发写入的数据,会影响插入性能,不建议

如果使用insert into duplicate 只能解决两条变一条,不能解决id问题。

我具体做法:(1)开了多份程序,提高了数据库写入和更新的速度

(2) 加大内存

未填加内存前速度 -loginfo:

Com_insert            Com_update

400                              160

(3)修改字段

(4)拆表

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:8,997
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,511
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,356
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,139
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,770
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,848