[数据仓库] 数据挖掘分门别类方法小结

数据挖掘分类方法小结下面对分类流程作个简要描述：训练：训练集——>特征选取——>训练——>分类器分类：新样本——>特征选取——>分类——>判决最初的数据挖掘分类应用大多都是在这些方法及基于内存基础上所构造的算法。目前数据挖掘方法都要求具有基于外存以处理大规模数据集...

[数据仓库] 数据挖掘的步骤有哪些

数据挖掘的方法有哪些？利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等，它们分别从不同的角度对数据进行挖掘。1、分类分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到某个...

[数据仓库] 数据挖掘9律

数据挖掘九律TTNN里面一位朋友分享的，感觉很有意思，拿来分享给大家！数据挖掘九律-DataMining-数据挖掘与数据分析有位挖掘专家tomkhabaza提出了挖掘九律，挺好的东西，特别是九这个数字，深得中华文化精髓，有点独孤九剑的意思：第一，目标律。数据挖掘是一个业务过程，必须得有业务目标。无目...

[数据仓库] 3、Aggregation（聚合）

加州理工学院公开课：机器学习与数据挖掘_Epilogue（第十八课-终结篇）课程简介:这是该课程的最后一课，作者首先总结了有关机器学习的理论、方法、模型、范式等。最后介绍了贝叶斯理论和Aggregation（聚合）方法在机器学习中的应用。课程提纲:1、机器学习的地图。2、贝叶斯理论。3、Aggreg...

[数据仓库] 闻名统计学者谢邦昌数据挖掘访谈

著名统计学者谢邦昌数据挖掘访谈1.记者：DataMining包含哪些主要功能？谢邦昌：DataMining实际应用功能可分为三大类六分项来说明：Classification和Clustering属于分类区隔类；Regression和Time-series属于推算预测类；Association和Seq...

[数据仓库] 干商务智能是不是需要很好的语言表达能力

做商务智能是不是需要很好的语言表达能力本帖最后由williambaldwin于2012-10-1423:50:34编辑本人从小有些口吃，在通讯领域BI做了3年多了，基本业务还是比较熟悉的，和一些甲方的业务人员沟通倒是没问题，因为大家岁数差不多，而且没有什么上下级关系，可每次做了一些大项目，可能就需要...

[数据仓库] 数据仓库应用（1）：数据仓库模型设计

数据仓库应用（一）：数据仓库模型设计一、问题背景某电子商务网站主要销售电子类产品，产品又分为几个大类别，包括：电脑类、手机类、键盘类等，每个类别内又细分为几个小类别，各类别下又有诸多的商品，每一个商品都有一个唯一的商品编号。用户可以通过注册成为会员来进行商品的下单购买。用户下单后会由系统自动产生一个...

[数据仓库] 数据仓库应用（3）: SQL Server 2005的数据仓库应用-联机分析OLAP

数据仓库应用（三）:SQLServer2005的数据仓库应用--联机分析OLAP关联文章：数据仓库应用（一）：数据仓库模型设计数据仓库应用（二）：数据抽取、转换、加载（ETL）前言：有关数据仓库的研究，并不仅仅停留在理论上。目前，几种主要的RDBMS产品，如Oracle、SQLServer、Info...

[数据仓库] 数据仓库应用（2）：数据抽取、转换、加载（ETL）

数据仓库应用（二）：数据抽取、转换、加载（ETL）关联文章：数据仓库应用（一）：数据仓库模型设计数据仓库应用（三）:SQLServer2005的数据仓库应用–联机分析OLAP一、问题背景某电子商务网站主要销售电子类产品，产品又分为几个大类别，包括：电脑类、手机类、键盘类等，每个类别内又细分为几个小类...

[数据仓库] 刚接触数据仓库，些有关问题

刚接触数据仓库，弱弱的问些问题有一些数据文件，需要做统计分析，可是不明白在数据仓库中应该怎么做，是不是建一张表跟数据文件里的列一一对应，把数据先导入到这张表里，把这张表作为事实表，然后再根据统计分析的需求，去建需要的纬度？还是说在数据导入之前，就需要根据统计分析的需求，设计好事实表，和纬度表？看了一...

[数据仓库] 数据挖掘札记（1）

数据挖掘笔记（1）1）数据挖掘的一种定义是一项通过探测大量数据以发现有意义的模式和规则的业务流程。数据挖掘是一种业务流程，它以其它业务流程产生的大量数据为输入，一般经过收集，清洗，整理，识别、分析和度量等加工，得到某种有意义的模式或规则作为输出。而这种输出反过来可以为其它业务流程提供度量，判断，预测...

[数据仓库] KNIMI数据挖掘建模与分析系列_001_利用KNIMI干演员关系网络分析

KNIMI数据挖掘建模与分析系列_001_利用KNIMI做演员关系网络分析利用KNIMI做演员关系网络分析老帅20150407一、测试数据二、演员社会关系网络可视化1.读入"演员社会关系.csv"读取列标题2.识别社会关系网络节点一个关系是由两个节点组成的，设置关系的第一个节点和...

[数据仓库] 数据挖掘基础:在数据中寻觅相关的项目 Apriori算法

数据挖掘基础:在数据中寻找相关的项目Apriori算法Ck:CandidateitemsetofsizekLk:frequentitemsetofsizekL1={frequentitems};for(k=1;Lk!=?;k++)dobeginCk+1=candidatesgeneratedfrom...

[数据仓库] 做银行的数据仓库工作如何样

做银行的数据仓库工作怎么样？做银行的数据仓库工作怎么样？发展前景如何？相比java开发怎么样？还有工作强度怎么样？谢谢大牛回答。------解决思路----------------------其实单就银行数据仓库和JAVA开发，两者无法比较。例如你做一个小小银行的数据仓库，和在BAT做JAVA开发完...

[数据仓库] 数据仓库课题（3）-分布式数据仓库事实表设计思考

数据仓库专题（3）-分布式数据仓库事实表设计思考一、前言最近在设计数据仓库的数据逻辑模型，考虑到海量数据存储在分布式数据仓库中的技术架构模式，需要针对传统的面相关系型数据仓库的数据存储模型进行技术改造。设计出一套真正适合分布式数据仓库的数据存储模型。二、事实表设计基础事实表记录发生在现实世界中的操作...

[数据仓库] 数据仓库课题（2）-Kimball维度建模四步骤

数据仓库专题（2）-Kimball维度建模四步骤一、前言四步过程维度建模由Kimball提出，可以做为业务梳理、数据梳理后进行多维数据模型设计的指导流程，但是不能作为数据仓库系统建设的指导流程。本文就相关流程及核心问题进行解读。二、数据仓库建设流程以下流程是根据业务系统、组织结构、团队结构现状设定的...

[数据仓库] 数据仓库课题（1）-数据仓库生命周期模型

数据仓库专题（1）-数据仓库生命周期模型一、前言工作内容的变更，导致重新回到数据仓库模型的架构和设计，于是花点时间比较系统的回顾数据仓库建模和系统建设的知识体系，记录下来，作为笔记吧。二、模型无论数据仓库技术如何变化，从RDBMS到NoSQL,从传统技术到大数据，其实只是实现技术手段的变化，数据仓库...

[数据仓库] 数据仓库专题（5）-怎么构建主题域模型原则之站在巨人的肩上（二）NCR FS-LDM主题域模型划分

数据仓库专题（5）-如何构建主题域模型原则之站在巨人的肩上（二）NCRFS-LDM主题域模型划分一、前言分布式数据仓库模型的架构设计，受分布式技术的影响，很多有自己特色的地方，但是在概念模型和逻辑模型设计方面，还是有很多可以从传统数据仓库模型进行借鉴的地方。NCRFS-LDM数据模型是金融行业事实上...

[数据仓库] 数据仓库专题（5）-怎么构建主题域模型原则之站在巨人的肩上（一）IBM-FSDM主题域模型划分

数据仓库专题（5）-如何构建主题域模型原则之站在巨人的肩上（一）IBM-FSDM主题域模型划分一、前言如何构建主题域模型原则是构建企业级数据仓库重要的议题，最好的路径就是参照成熟的体系。IBM金融数据模型数据存储模型FSDM，是金融行业应用极为广泛的数据模型，可以作为我们构建企业级数据仓库主题域模型...

[数据仓库] 数据挖掘算法之关联规则开掘（二）FPGrowth算法

数据挖掘算法之关联规则挖掘（二）FPGrowth算法之前介绍的apriori算法中因为存在许多的缺陷，例如进行大量的全表扫描和计算量巨大的自然连接，所以现在几乎已经不再使用在mahout的算法库中使用的是PFP算法，该算法是FPGrowth算法的分布式运行方式，其内部的算法结构和FPGrowth算法...