当前位置:
代码迷
>>
数据仓库
>> 问一个性能有关问题,求思路
详细解决方案
问一个性能有关问题,求思路
热度:
46
发布时间:
2016-05-05 15:51:39.0
问一个性能问题,求思路
比如,我有一文本文件,差不多有10T大小的数据量,电脑内存大小有2G,每次读取3万条数据(假如3万条数据差不多有1G),请问如何保证每次读取耗费电脑的资源基本相同,请大牛讲讲这方面的经验,不一定是文本文件,其它存储介质也行,非常感谢
分享到:
------解决方案--------------------
如果要保证每次占用的内存相等,不能用行读,应该换成固定的BUFFER
每次迭代释放前一次的内存,再按照BUFFER SIZE跳转的文件的偏移地址(seek)继续固定的BUFFER内容到内存
查看全文
相关解决方案