每天大概有100多万条的数据需要从日志文件中读取出来,处理完后插入数据库表,各位有什么好的方案吗?主要是性能方面
------解决方案--------------------------------------------------------
100多万条的日志文件,会比较大,从文件读本来就是很慢的,但是这个步骤是不能省略的。
所以这个程序最主要的效率就是看读文件这个部分的效率。
数据的处理,这个过程要看是否复杂,可以把数据的处理交给数据库进行,就是读数据查入到数据库中,然后用存储过程来处理数据。
------解决方案--------------------------------------------------------
如果分析后觉得可以先把日志都装入数据库,让数据库来处理的话,可以用db2 load来装,这个是很快的。