TopN是常见的运算,用SQL写出来是这样(以Oracle为例):
select * from (select * from T order by x desc) where rownum<=N
这个SQL的运算逻辑从其语句上看,要先做排序(Order by),然后再取出前N条。
我们知道,排序是个非常慢的动作,复杂度很高(n*logn),如果涉及数据量大到内存放不下,那还需要进行内外存数据交换,性能还会急剧下降。
而事实上,要计算TopN,我们能设计出不需要全排序的算法,只要保持一个大小为N的小集合,对数据集遍历一次,将遍历过的数据的前N名保存在这个小集合中,遍历到新一条数据,如果比当前的第N名还大,则插入进去并丢掉现在的第N名,如果比当前的第N名要小,则不做动作。
这样计算的复杂度要低很多(n*logN,n是总数据条数),而且一般N都不大,可以在内存中放下,无论数据量有多大,都不会涉及内外存交换问题。
但是,SQL无法描述上面这个计算过程,这时,我们只能寄希望于数据库引擎是不是能自己优化。使用SPL就容易描述上面这个计算过程,从而实现高性能计算。
我们来测试一下看Oracle是不是会做这个优化,即用Oracle实现TopN后和SPL做同样运算相比。因为SPL能使用优化算法,如果Oracle的计算时间和SPL差不多,则说明它做了优化,如果差得很远,则可能是做了全排序。
一、 数据准备和环境
用SPL脚本生成数据文件,数据共两列,第一列id是小于20亿的随机整数,第二列amount是不大于1千万的随机实数。数据记录为80亿行,生成的原始文本文件大小为169G。利用数据库提供的数据导入工具将此文件数据导入到Oracle的数据表topn中,同时也用此文件数据生成SPL组表文件topn.ctx。
在一台Intel服务器上完成测试,2个Intel3014 CPU,主频1.7G,共12核,内存64G。数据库表数据及SPL组表文件均存储在同一块SSD硬盘上。
我们刻意将数据量设计得比内存大,这样如果进行排序则会有内外存交换动作,性能下降会非常大,容易被观测到。
二、 常规TopN
取出topn表中amount最大的前100