[数据仓库] 数据挖掘学习笔记之人工神经网络（1）

数据挖掘学习笔记之人工神经网络（一）由于本人这段时间在学习数据挖掘的知识，学习了人工神经网络刚好就把学习的一些笔记弄出来，也为以后自己回头看的时候方便些。神经网络学习方法对于逼近实数值、离散值或向量值的目标函数提供了一种健壮性很强的方法。对于某...

[数据仓库] 数据挖掘学习笔记之人工神经网络（2）

数据挖掘学习笔记之人工神经网络（二）多层网络和反向传播算法我们知道单个感知器仅能表示线性决策面。然而我们可以将许多的类似感知器的模型按照层次结构连接起来，这样就能表现出非线性决策的边界了，这也叫做多层感知器，重要的是怎么样学习多层感知器，这个问题有两个方面：1、要学习网络结构；2、要学...

[数据仓库] 大块头哥的大数据之路（8）- 数据仓库命名规范

胖子哥的大数据之路（8）-数据仓库命名规范引言：从对大数据的狂热到理性的回归，项目实施起到了醍醐灌顶的作用，大数据技术只能作为一种IT基础架构（存储+运算），而实际的工程化实施，还是要回归到IT传统技术，最近在整合大数据时代的数据仓库框架，希望能有更多的人参与进来。数据仓库实施数据模型的组织...

[数据仓库] 数据挖掘十大算法-EM算法（最大期待算法）

数据挖掘十大算法----EM算法（最大期望算法）概念在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（LatentVariable）。最大期望经常用在机器学习和计算机视觉的数据...

[数据仓库] 2. Referrence

【数据挖掘】分类之knn1.算法简介knn的思想很简单：计算待分类的数据点与训练集所有样本点，取距离最近的k个样本；统计这k个样本的类别数量；根据多数表决方案，取数量最多的那一类作为待测样本的类别。距离度量可采用Euclideandistance，Manhattandistance和cosine。用...

[数据仓库] 数据挖掘十大算法-K比邻算法

数据挖掘十大算法--K近邻算法k-近邻算法是基于实例的学习方法中最基本的，先介绍基于实例学习的相关概念。一、基于实例的学习。1、已知一系列的训练样例，很多学习方法为目标函数建立起明确的一般化描述；但与此不同，基于实例的学习方法只是简单地把训练样例存储起来。从这些实例中泛化的工作被推迟到必须分类新的实...

[数据仓库] 【数据挖掘】分门别类之decision tree

【数据挖掘】分类之decisiontree1.ID3算法ID3算法是一种典型的决策树（decisiontree）算法，C4.5,CART都是在其基础上发展而来。决策树的叶子节点表示类标号，非叶子节点作为属性测试条件。从树的根节点开始，将测试条件用于检验记录，根据测试结果选择恰当的分支；直至到达叶子节...

[数据仓库] 数据挖掘十大算法-K-均值聚类算法

数据挖掘十大算法--K-均值聚类算法一、相异度计算在正式讨论聚类前，我们要先弄清楚一个问题：如何定量计算两个可比较元素间的相异度。用通俗的话说，相异度就是两个东西差别有多大，例如人类与章鱼的相异度明显大于人类与黑猩猩的相异度，这是能我们直观感受到的。但是，计算机没有这种直观感受能力，我们必须对相异度...

[数据仓库] 2.Referrence

【数据挖掘】分类之NaïveBayes1.算法简介朴素贝叶斯（NaiveBayes）是无监督学习的一种常用算法，易于实现，没有迭代，并有坚实的数学理论（即贝叶斯定理）作为支撑。本文以拼写检查作为例子，讲解NaiveBayes分类器是如何实现的。对于用户输入的一个单词（words），拼写检查...

[数据仓库] asp.net 如若开发BI，基于什么数据库好呢

asp.net如果开发BI，基于什么数据库好呢？熟悉asp.netc#,oracle,sqlserver懂一些。想开发BI系统，aspx+oracle?还是aspx+mssql?犹豫中...请大家赐教！------解决方案--------------------ASP。NET，微软肯定会告诉你用SQ...

[数据仓库] 数据挖掘十大算法-Apriori算法

数据挖掘十大算法--Apriori算法一、Apriori算法概述Apriori算法是一种最有影响力的挖掘布尔关联规则的频繁项集的算法，它是由RakeshAgrawal和RamakrishnanSkrikant提出的。它使用一种称作逐层搜索的迭代方法，k-项集用于探索（k+1）-项集。首先，找...

[数据仓库] 机器学习与数据挖掘-支持向量机(SVM)（1）

机器学习与数据挖掘-支持向量机(SVM)（一）最近在看斯坦福大学的机器学习的公开课，学习了支持向量机，再结合网上各位大神的学习经验总结了自己的一些关于支持向量机知识。一、什么是支持向量机(SVM)?1、支持向量机（SupportVectorMachine，常简称为SVM）是一种监督式学习的方法，可广...

[数据仓库] kettle 中oralce的 left join 如何实现

kettle中oralce的leftjoin怎么实现？需要用到两个表级联的记录，做输入，然后做插入/更新操作。在oralce中select...from表1aleftjoin表2bona.id=b.id查询出了所要的结果但是用表输入控件，把查询语句输入进去以后查出来的b2的字段全部是null我应该怎...

[数据仓库] 【数据挖掘】联系关系分析之Apriori

【数据挖掘】关联分析之Apriori1.Apriori算法如果一个事务中有X，则该事务中则很有可能有Y，写成关联规则{X}→{Y}将这种找出项目之间联系的方法叫做关联分析。关联分析中最有名的问题是购物蓝问题，在超市购物时，有一个奇特的现象——顾客在买完尿布之后通常会买啤酒，即{尿布}→{啤酒}。原来...

[数据仓库] 数据挖掘之七种惯用的方法

数据挖掘之七种常用的方法数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程利用数据挖掘进行数据分...数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问...

[数据仓库] 数据挖掘之效能

数据挖掘之功能数据挖掘通过预测未来趋势及行为，做出前摄的、基于知识的决策。数据挖掘的目标是从数据库中发现隐含的、有意义的知识，主要有以下五类功能。1、自动预测趋势和行为数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。一个典型的例子是市场预测...

[数据仓库] hadoop处理文本类型的数据的有关问题

hadoop处理文本类型的数据的问题我们管理1K多个服务器，需要从这些服务器中每天定时拿取想要的数据，保存在TXT文本文件里，格式一般为1,1,1,中,1\n2,2,2,中,2\n1,1,1,中,1\n即每行由\n隔开，每个字段用,隔开。我们初步采用hadoop的这个开源的东西，但不知道如何将TXT...

[数据仓库] 基于数据仓库星形形式的广东省高速公路一张网资金结算情况分析系统

基于数据仓库星形模式的广东省高速公路一张网资金结算情况分析系统基于数据仓库星形模式的广东省高速公路一张网资金结算情况分析系统马根峰(广东联合电子服务股份有限公司广州510300)摘要星形模式是基于关系数据库的数据仓库中的一个著名概念，由于星形连接模式的设计思想能够满足人们从不同观察角度（维）分析数据...

[数据仓库] 数据挖掘十大经典算法

数据挖掘十大经典算法.stillnotread,shouldpayattentionto数据挖掘?国际权威的学术组织theIEEEInternationalConferenceonDataMining(ICDM)2006年12月评选出了数据挖掘领域的十大经典算法：C4.5,k-Means,SVM,A...

[数据仓库] 数据挖掘札记-分类-决策树-3

数据挖掘笔记-分类-决策树-3了解了一些决策树的构建算法后，现在学习下随机森林。还是先上一些基本概念：随机森林是一种比较新的机器学习模型。顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林...