当前位置: 代码迷 >> DB2 >> 关于海量数据的处理有关问题
  详细解决方案

关于海量数据的处理有关问题

热度:8528   发布时间:2013-02-26 00:00:00.0
关于海量数据的处理问题
每天大概有100多万条的数据需要从日志文件中读取出来,处理完后插入数据库表,各位有什么好的方案吗?主要是性能方面

------解决方案--------------------------------------------------------
100多万条的日志文件,会比较大,从文件读本来就是很慢的,但是这个步骤是不能省略的。

所以这个程序最主要的效率就是看读文件这个部分的效率。

数据的处理,这个过程要看是否复杂,可以把数据的处理交给数据库进行,就是读数据查入到数据库中,然后用存储过程来处理数据。
------解决方案--------------------------------------------------------
如果分析后觉得可以先把日志都装入数据库,让数据库来处理的话,可以用db2 load来装,这个是很快的。
  相关解决方案