当前位置: 代码迷 >> 高性能计算 >> 100万条数据三小时内处理完毕 算法怎么写
  详细解决方案

100万条数据三小时内处理完毕 算法怎么写

热度:5534   发布时间:2013-02-26 00:00:00.0
100万条数据三小时内处理完毕 算法如何写?
近期,遇到一个问题,是这样的,求算法。

有个日志文件,里面存放了100万条数据,每条是一行。
另外有个函数,对每一行字符串处理后,放入另外一个文本文件中,此函数执行一次需要耗时1秒。
求一算法(方法),在三小时内将所有数据处理完毕。

先谢谢大家啦!

------解决方案--------------------------------------------------------
多线程异步处理,集群服务器,优化算法。
好比原先你 有一个工人排队干活,现在你有1000个 工人同时干活。

前提是每行的计算结果不互相干扰,不互相依赖。
------解决方案--------------------------------------------------------
我下载论文的 程序就 这么干的,每个任务丢过去就不管了,启动下一个。
这样计算机会尽自己最大的能力去干活。
------解决方案--------------------------------------------------------
感觉和网上的下载工具类型
分段
也就是分页查询处理
利用多线程
------解决方案--------------------------------------------------------
把数据读入内存再分,启用线程池,10分钟以内准能搞定。
  相关解决方案