[数据仓库] 机器学习与数据挖掘-支持向量机(SVM)（1）

机器学习与数据挖掘-支持向量机(SVM)（一）最近在看斯坦福大学的机器学习的公开课，学习了支持向量机，再结合网上各位大神的学习经验总结了自己的一些关于支持向量机知识。一、什么是支持向量机(SVM)?1、支持向量机（SupportVectorMachine，常简称为SVM）是一种监督式学习的方法，可广...

[数据仓库] kettle 中oralce的 left join 如何实现

kettle中oralce的leftjoin怎么实现？需要用到两个表级联的记录，做输入，然后做插入/更新操作。在oralce中select...from表1aleftjoin表2bona.id=b.id查询出了所要的结果但是用表输入控件，把查询语句输入进去以后查出来的b2的字段全部是null我应该怎...

[数据仓库] 海内BI巨头面临的危机

国内BI巨头面临的危机国内BI巨头面临的危机4月以来，美国数家研究机构均发布报告，质疑第一家在美上市的中国软件企业东南融通财务造假，美国证交会（SEC）亦由此介入调查。从而引发价值被质疑高估中国概念股大跌！再到目前的美券商封杀130家中国概念股。众所周知，东南融通主要的BI业务来源于前身的FEnet...

[数据仓库] 二零一零年商业智能市场趋势预测

2010年商业智能市场趋势预测本帖最后由MSTOP于2009-12-1015:05:29编辑金融危机刚刚结束，疲软的IT市场渐渐复苏，2010你认为商业智能市场将会如何？请积极参与http://www.bithink.cn/bbs/thread-814-1-1.html并给出您的观点------解决...

[数据仓库] 【数据挖掘】联系关系分析之Apriori

【数据挖掘】关联分析之Apriori1.Apriori算法如果一个事务中有X，则该事务中则很有可能有Y，写成关联规则{X}→{Y}将这种找出项目之间联系的方法叫做关联分析。关联分析中最有名的问题是购物蓝问题，在超市购物时，有一个奇特的现象——顾客在买完尿布之后通常会买啤酒，即{尿布}→{啤酒}。原来...

[数据仓库] oozie hadoop 相干

ooziehadoop相关在oozie运行hadoop自带实例WordCount时。报以下错误。直接通过命令是可以运行这个WordCount的。2014-05-0404:05:50,951INFOorg.apache.hadoop.util.NativeCodeLoader:Loadedthenat...

[数据仓库] 数据挖掘之七种惯用的方法

数据挖掘之七种常用的方法数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程利用数据挖掘进行数据分...数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问...

[数据仓库] 数据挖掘之效能

数据挖掘之功能数据挖掘通过预测未来趋势及行为，做出前摄的、基于知识的决策。数据挖掘的目标是从数据库中发现隐含的、有意义的知识，主要有以下五类功能。1、自动预测趋势和行为数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。一个典型的例子是市场预测...

[数据仓库] hadoop处理文本类型的数据的有关问题

hadoop处理文本类型的数据的问题我们管理1K多个服务器，需要从这些服务器中每天定时拿取想要的数据，保存在TXT文本文件里，格式一般为1,1,1,中,1\n2,2,2,中,2\n1,1,1,中,1\n即每行由\n隔开，每个字段用,隔开。我们初步采用hadoop的这个开源的东西，但不知道如何将TXT...

[数据仓库] 基于数据仓库星形形式的广东省高速公路一张网资金结算情况分析系统

基于数据仓库星形模式的广东省高速公路一张网资金结算情况分析系统基于数据仓库星形模式的广东省高速公路一张网资金结算情况分析系统马根峰(广东联合电子服务股份有限公司广州510300)摘要星形模式是基于关系数据库的数据仓库中的一个著名概念，由于星形连接模式的设计思想能够满足人们从不同观察角度（维）分析数据...

[数据仓库] 数据挖掘十大经典算法

数据挖掘十大经典算法.stillnotread,shouldpayattentionto数据挖掘?国际权威的学术组织theIEEEInternationalConferenceonDataMining(ICDM)2006年12月评选出了数据挖掘领域的十大经典算法：C4.5,k-Means,SVM,A...

[数据仓库] Spring batch实现数据仓库ETL 框架搭建(1)

Springbatch实现数据仓库ETL框架搭建(一)暂时还没完成，只供自己参考参考链接:http://www.yihaomen.com/article/java/433.htmhttp://www.zuidaima.com/share/1732772811131904.htmhttp://1314...

[数据仓库] 数据挖掘札记-分类-决策树-5

数据挖掘笔记-分类-决策树-5上篇文章里面虽然结合hadoop用到mapreduce去计算属性的增益率，但是发现整个程序似乎也并没有做到并行化处理。后面又看了一些网上的资料，自己又想了想，然后又重新实现了一下决策树，大体思路如下：1、将一个大数据集文件拆分成N个小数据集文件，对数据做好预处理工作，上...

[数据仓库] 数据挖掘札记-分类-决策树-3

数据挖掘笔记-分类-决策树-3了解了一些决策树的构建算法后，现在学习下随机森林。还是先上一些基本概念：随机森林是一种比较新的机器学习模型。顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林...

[数据仓库] 数据挖掘札记-分类-决策树-4

数据挖掘笔记-分类-决策树-4之前写的代码都是单机上跑的，发现现在很流行hadoop,所以又试着用hadoopmapreduce来处理下决策树的创建。因为hadoop接触的也不多，所以写的不好，勿怪。?看了一些mahout在处理决策树和随机森林的过程，大体过程是Job只有一个Mapper处理,在ma...

[数据仓库] 数据挖掘札记-分类-决策树-1

数据挖掘笔记-分类-决策树-1之前一直做的都是J2EE,最近开始接触数据挖掘，特做笔记记录一下。第一次写东西，写的不好，望大家谅解。先上一些基础概念，大致了解下决策树这个东西：决策树（decisiontree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代...

[数据仓库] 数据挖掘札记-关联规则-Apriori-1

数据挖掘笔记-关联规则-Apriori-1今天看了一下关联规则分析中的Apriori算法，先了解下基本概念：关联规则分析用于发现隐藏在大型数据集中的有意义的联系。在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。?关联规则挖掘形式化定义：?原始...

[数据仓库] 数据挖掘方面重要会议的绝佳paper集合

数据挖掘方面重要会议的最佳paper集合数据挖掘方面重要会议的最佳paper集合，后续将陆续分析一下内容：主要有KDD、SIGMOD、VLDB、ICML、SIGIRKDD(DataMining)2013SimpleandDeterministicMatrixSketchingEdoLiberty,Y...

[数据仓库] 数据挖掘 决策树算法 ID3 粗浅演绎

数据挖掘决策树算法ID3通俗演绎决策树是对数据进行分类，以此达到预测的目的。该决策树方法先根据训练集数据形成决策树，如果该树不能对所有对象给出正确的分类，那么选择一些例外加入到训练集数据中，重复该过程一直到形成正确的决策集。决策树代表着决策集的树形结构。决策树由决策结点、分支和叶子组成。决策树中最上...

[数据仓库] JAVA，DBA，ETL,该怎么解决

JAVA，DBA，ETL我现在是在做JAVA开发，想转向Oracle方向，做DBA，现在有一个ETL的工作机会，我跟我朋友说，他劝我直接找DBA的工作，做ETL再转DBA还会有转行的阵痛期，我的想法是先做ETL，再做DBA，慢慢转，我想问一下，ETL转DBA的话好转么？ETL具体做的都是什么工作？-...