详细解决方案
高分求雅量数据库设计方案
热度:126 发布时间:2016-05-11 10:02:51.0
海量数据设计问题
现有200个数据采集设备实时将数据上传到管理中心,大概每个设备一天的数据量为1000万条,需要在管理中心提供对数据的查询功能,请教在管理中心软件的数据库要如何设计才能保证能快速响应。
------解决思路----------------------
这篇文章写得不错,可以看看,http://www.zhanghongze.com/blog/42001/%E6%B5%B7%E9%87%8F%E7%94%A8%E6%88%B7%E4%B8%8B%E7%9A%84%E6%95%B0%E6%8D%AE%E5%BA%93%E8%AE%BE%E8%AE%A1#comments
------解决思路----------------------
创建索引
------解决思路----------------------
是通讯行业的应用吗?
1、增加一层数据处理层,将数据转储到内存数据库
2、使用分区表进行数据分区。
3、原始记录不入库,直接存储为文件。
4、汇总数据和关键业务数据入库。
5、大容量数据导入必须用,同时考虑分布式的数据加载方式。
6、硬件架构上将日志单独一个存储,存储整列的Cache 4G以上。
7、如果资金允许,建议使用SSD闪存硬盘,比外挂整列的IO性能高3倍以上。由于容量不可能太大,可以考虑将当天数据保存在SSD硬盘。
8、是否需要汇总,做定时汇总。
核心:
分区(必要时分表与分区同时使用)、大容量入库(内存转储、内存解压、内存数据库)、硬件技术(磁盘阵列、SSD硬盘、日志存储)、定时汇总(建立多维度汇总(时间、分析对象)加快业务功能的执行)、分布式设计(数据加载)、文件代替数据库(不是所有数据都需要入库)
h
相关解决方案
- 用asp.net mvc 开发一个B2C商城 设计方案,该如何解决
- JAVA 连接 Access 数据库,提示文件名无效,马上结帖
- oracle 数据库 分页排序有关问题 求指教
- mysql 数据库 插入图片有关问题
- SSH 数据库 连接出错
- 痛苦的一天 完全没有连接上 数据库 望高手解答 多谢了
- 急面试题(高分~)
- jsp连接ms sql server 数据库 不显示表单提交的字符查询结果,该如何解决
- 高分,待,立即给分 :如果获取点击的链接来源地址的IP地址
- 高分:怎么知道一个文件被拷贝了多少次
- JavaBean的有关问题,高分,待
- 静态变量与性能影响(高分)解决思路
- Cannot find bean * in any scope(高分),该怎么处理
- 求三级省份 市 区的级联菜单的源码,要求菜单内容数据库读取 高分
- 高分:怎么在servlet里得到默认目录
- 高分.能不能在jsp里直接用log4j写数据库,该怎么解决
- 小弟我需要JSP控制SQL数据库备份和恢复 完整代码 高手们帮下忙 高分
- 在线急等 jsp 整合discuz 论坛 !(高分)解决方法
- 数据库,该如何解决
- 高分 tomcat 4.1.30 和SQLSERVER2000的有关问题,请进
- 高分!(关于tapestry的组件table的有关问题)
- 高分,为何使用javamail发送邮件时出错
- 初学者急需知道的几个问题?高手不要笑小弟我 高分
- 500分求 设计方案 分不够 另开帖。该如何处理
- 编码有关问题(高分)
- MyBatis3.1.1 Insert 返回主键 long类型 MYSQL 数据库,该如何处理
- [高分]java socket怎么传送图片+文字
- java连接 orace 数据库 404解决方案
- 关于java编写xml的有关问题!高分!
- 数据库 连接池 配置有关问题