当前位置: 代码迷 >> Java Web开发 >> 有做过海量数据的朋友进来指导一下拉,效率有关问题
  详细解决方案

有做过海量数据的朋友进来指导一下拉,效率有关问题

热度:4   发布时间:2016-04-17 11:08:16.0
有做过海量数据的朋友进来指导一下拉,效率问题
 

  最近手头有一个批量数据录入的工作,数据大概有5000W条左右,现在每个小时只能插入2W条左右,太慢了,有经验的分享一下

怎样提高一下效率?

  大家都有哪些方法,分享一下.

------解决方案--------------------

------解决方案--------------------
1.批处理。可以测试下一次处理多少条效率最高
2.尽量简化字段,插入的代码最小
3.数据库服务器要购入高配置的!
4.考虑白天有人使用导致速度慢,可以考虑夜深人静的时候自动跑
  相关解决方案