视频1 视频21 视频41 视频61 视频文章1 视频文章21 视频文章41 视频文章61 推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37 推荐39 推荐41 推荐43 推荐45 推荐47 推荐49 关键词1 关键词101 关键词201 关键词301 关键词401 关键词501 关键词601 关键词701 关键词801 关键词901 关键词1001 关键词1101 关键词1201 关键词1301 关键词1401 关键词1501 关键词1601 关键词1701 关键词1801 关键词1901 视频扩展1 视频扩展6 视频扩展11 视频扩展16 文章1 文章201 文章401 文章601 文章801 文章1001 资讯1 资讯501 资讯1001 资讯1501 标签1 标签501 标签1001 关键词1 关键词501 关键词1001 关键词1501 专题2001
MySQL利用多线程提升查询性能的一种思路
2020-11-09 11:37:35 责编:小采
文档

MySQL 利用多线程提升查询性能的一种思路,问题的症结在于只能单线程执行。本方案提供一种引擎Multi-thread-query,让MySQL能够用

背景

报表统计类的查询是一类耗时的查询。使用场景是QPS并不大,单每个查询由于需要访问较多数据,对大量数据做处理,执行时间较长(通常秒级以上)。

分析

可以将一个大查询分成多个子查询,如果子查询需要访问的数据为整个查询的1/n,则可估计执行时间为1/n。但由于MySQL一个查询只能在单线程中执行,导致即使将一个大查询拆分成多个子查询,多个子查询执行后合并,需要时间为n*1/n=1,仍不能提升其性能。

问题的症结在于只能单线程执行。本方案提供一种引擎Multi-thread-query,让MySQL能够用多线程同时执行多个子查询。由于还要做一点合并工作,整个查询的时间将略大于n个子查询中查询时间最长的一个,即性能接近n倍。

最后一部分举了一个例子,n=3。

方案说明

1、图示

2、用户对MTQ发起查询,MTQ拆分成多个子查询向实体表发起多线程查询。

3、MTQ等待全部线程执行完成后,可以在此基础上执行其他函数操作,如count、avg、group by等。

4、需要修改SQL查询格式,子查询如何拆分,由用户在查询里面指定。

5、适用于每个子查询都是计算量大,返回结果少的情况。(若返回结果越多,合并耗时越大)

举例

以一个统计查询需求为例(数据是构造的,木有神马泄密问题)

一个正常的查询如下:

查询结果

相同机器上使用MTQ查询语法:

MTQ查询结果

可以看到,,时间从3s减少为1.2s,查询结果相同,查询语句上可以直接做sum、group by操作。

下载本文
显示全文
专题