当前位置: 代码迷 >> 高性能数据库开发 >> 高分求海量数据库设计方案解决方案
  详细解决方案

高分求海量数据库设计方案解决方案

热度:9213   发布时间:2013-02-26 00:00:00.0
高分求海量数据库设计方案
海量数据设计问题
现有200个数据采集设备实时将数据上传到管理中心,大概每个设备一天的数据量为1000万条,需要在管理中心提供对数据的查询功能,请教在管理中心软件的数据库要如何设计才能保证能快速响应。

------解决方案--------------------------------------------------------
这篇文章写得不错,可以看看,http://www.zhanghongze.com/blog/42001/%E6%B5%B7%E9%87%8F%E7%94%A8%E6%88%B7%E4%B8%8B%E7%9A%84%E6%95%B0%E6%8D%AE%E5%BA%93%E8%AE%BE%E8%AE%A1#comments
------解决方案--------------------------------------------------------
创建索引
------解决方案--------------------------------------------------------
是通讯行业的应用吗?

1、增加一层数据处理层,将数据转储到内存数据库
2、使用分区表进行数据分区。
3、原始记录不入库,直接存储为文件。
4、汇总数据和关键业务数据入库。
5、大容量数据导入必须用,同时考虑分布式的数据加载方式。
6、硬件架构上将日志单独一个存储,存储整列的Cache 4G以上。
7、如果资金允许,建议使用SSD闪存硬盘,比外挂整列的IO性能高3倍以上。由于容量不可能太大,可以考虑将当天数据保存在SSD硬盘。
8、是否需要汇总,做定时汇总。

核心:
分区(必要时分表与分区同时使用)、大容量入库(内存转储、内存解压、内存数据库)、硬件技术(磁盘阵列、SSD硬盘、日志存储)、定时汇总(建立多维度汇总(时间、分析对象)加快业务功能的执行)、分布式设计(数据加载)、文件代替数据库(不是所有数据都需要入库)

h
  相关解决方案