当前位置: 代码迷 >> 高性能数据库开发 >> 数据库海量数据处理有关问题
  详细解决方案

数据库海量数据处理有关问题

热度:30   发布时间:2016-05-11 10:02:41.0
数据库海量数据处理问题
使用MySql数据库,其中有一个表有百亿级别数据。每次操作都要从这些数据中找到最大的,并根据找到的行对数据表的一小部分数据进行更新操作。怎样设计,包括数据库和程序, 使得内存占用小,并且处理速度快。

------解决方案--------------------
MySQL操作百亿的表真心累
确切的说大部分RDBMS玩百亿数据表都很麻烦
DBA的工作会进入patition+split+tran的死循环
------解决方案--------------------
RDBMS处理无非4种方案
1、分区、分表、分库、读写分离
2、在DB上层构建数据代理层,DB改造为分布式
3、购买性能更高的硬件
4、花钱购买完整解决方案,比如甲骨文的ORACLE、SAP的HANA等
技术能力强的企业会用前两种方案
技术差的用后两种方案
当然,也可以把一些持久化的大数据迁移到NoSQL分布式系统上,比如HBASE,这种数据不会被修改,只提供查询、添加接口。
在线业务数据任然用RDBMS,减轻在线数据的总容量。
------解决方案--------------------
百亿级的数据,实在恐怖,是百万数据量的一万倍。建议亲自往百度,搜狗等搜索引擎公司去咨询吧。
------解决方案--------------------
哈哈,读写分离吧,历史数据归档,表分区,索引分区。
本站暂不开放注册!
内测阶段只得通过邀请码进行注册!
 
  • 最近登录:Mon Jan 23 12:31:09 CST 2017
  • 最近登录:Mon Jan 23 12:31:09 CST 2017
  • 最近登录:Mon Jan 23 12:31:09 CST 2017
  • 最近登录:Mon Jan 23 12:31:09 CST 2017
  • 最近登录:Mon Jan 23 12:31:09 CST 2017