[数据仓库] The Data Warehouse ETL Toolkit学习札记-数据仓库的任务

TheDataWarehouseETLToolkit学习笔记-数据仓库的任务数据仓库的任务是发布企业的数据资产，用于支持更加有效的决策制定。数据仓库成功的起点和终点是其最终用户，主要成功的标准是数据仓库是否为企业的最重要的决策制定过程提供了帮助。ETL系统必须完成的任务是以可用的方式把数据交给最终用...

[数据仓库] 图发掘：社会网络分析和多关系数据挖掘

图挖掘：社会网络分析和多关系数据挖掘新兴研究领域介绍：图挖掘和多关系数据挖掘。一、什么是图挖掘？为什么进行图挖掘????1、图的用途越来越广，包括对互联网、社会化网络、生物、电路、图像的建模。????2、许多图搜索算法已经被开发出来了，并且广泛用在信息检索、计算机视觉等领域；????3、需要进一步开...

[数据仓库] 【大数据挖掘学习-一】计算模型：MapReduce

【大数据挖掘学习-1】计算模型：MapReduce由于大数据挖掘中大部分的内容都是数据挖掘的大规模计算，那么就会存在如下的挑战：1）如何进行分布式计算？2）分布式/并行编程将会变得很难针对以上的挑战，可以使用Map-Reduce来解决。Map-Reduce是Google提出的计算模型或数据管理模型，...

[数据仓库] 【大数据挖掘学习-二】关联规则挖掘

【大数据挖掘学习-2】关联规则挖掘关联规则挖掘一、关联规则挖掘简介首先，对市场-篮子模型进行介绍超市货架管理——市场-篮子模型：该模型的目的：用来对众多的客户一次同时所购的物品进行规则挖掘。方法：通过扫描条形码所收集的销售数据进行处理，寻找物品之间的独立性。经典的规则：若一个用户购买了尿布和牛奶，那...

[数据仓库] 数据集成跟ETL的区别是啥

数据集成和ETL的区别是啥?数据集成和ETL的区别是啥?分享到：------解决方案--------------------ETL：数据抽取、转换、加载（三个单词的手写字母，百度百科可以查）各个生产系统上面的数据，经过ETL后，到了一个专门用来做分析的数据库上面，这个就是数据仓库。数据集成是个统称，...

[数据仓库] Kettle多Job管理有关问题以及远程调用脚本有关问题

Kettle多Job管理问题以及远程调用脚本问题现在开始研究ETL工具Kettle，但是有2个问题不太清楚，请大虾指导下：1、Kettle中的Job如何调用远程服务器脚本：除使用集群功能外还有其他方法吗？2、Kettle中如果有多个Job如何管理，那个大虾有资料或者网址麻烦提供下，O(∩_∩)O谢谢...

[数据仓库] 数据挖掘综上所述报告

数据挖掘综述报告1.数据挖掘产生于发展：在金融业方面,数据挖掘的应用突出表现在信用评估和防止欺诈等方面。PaoloGiudici和OliviaParrRud对利用神经网络、logistic回归和决策树方法进行信用评估的相关问题进行了阐述。RobertGroth从防止金融欺诈的角度论述了数据挖掘的应用...

[数据仓库] 数据仓库的魂灵-元数据

数据仓库的灵魂--元数据企业数据量的日益膨胀以及数据的多样性和复杂性，使人们不禁感叹二十年前查询不到数据是因为数据太少，而现如今查询不到数据则是因为数据太多了。如何及时地从海量的原始数据中提取更多、更好地信息，为企业的决策分析服务，成为人们一直关心的问题。在这种情况下，数据仓库技术应运而生。数据仓库...

[数据仓库] 数据挖掘之离散化跟概念分层学习笔记

数据挖掘之离散化和概念分层学习笔记离散化和概念分层产生通过将属性域划分为区间，离散化技术可以用来减少给定连续属性值的个数。区间的标号可以替代实际的数据值。如果使用基于判定树的分类挖掘方法，减少属性值的数量特别有好处。通常，这种方法是递归的，大量的时间花在每一步的数据排序上。因此，待排序的不同值越少，...

[数据仓库] 数据仓库跟数据挖掘的OLAP 技术

数据仓库和数据挖掘的OLAP技术数据仓库和数据挖掘的OLAP技术数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理决策制定?面向主题的：数据仓库围绕一些主题，如顾客、供应商、产品和销售组织。数据仓库关注决策者的数据建模与分析，而不是构造组织机构的日常操作和事务处理。因此，数据仓库排...

[数据仓库] 数据挖掘之原语、语媾和系统结构学习笔记

数据挖掘之原语、语言和系统结构学习笔记数据挖掘原语、语言和系统结构?希望用户能够通过使用一组数据挖掘原语与数据挖掘系统通讯，以支持有效的和有成果的知识发现。这组原语包括说明数据库的部分或用户感兴趣的数据集（包括感兴趣的数据库属性或数据仓库维），要挖掘的知识类型，用于指导挖掘过程的背景知识，模式评估兴...

[数据仓库] 数据挖掘之概念描述：特点与比较学习笔记

数据挖掘之概念描述：特征与比较学习笔记概念描述：特征与比较从数据分析的角度，数据挖掘可以分为两类：描述式数据挖掘和预测式数据挖掘。描述式数据挖掘以简洁概要的方式描述数据，并提供数据的有趣的一般性质。预测式数据挖掘分析数据，建立一个或一组模型，并试图预测新数据集的行为。?数据库通常存放大量的细节数据。...

[数据仓库] 数据挖掘之聚类分析学习札记(1)

数据挖掘之聚类分析学习笔记(1)聚类分析?聚类(clustering)就是将数据对象分组成为多个类或簇(cluster)，在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大。相异度是基于描述对象的属性值来计算的。距离是经常采用的度量方式。聚类分析源于许多研究领域，包括数据挖掘，统计学，...

[数据仓库] 数据挖掘之聚类分析学习札记(2)

数据挖掘之聚类分析学习笔记(2)聚类分析中的数据类型?假设要聚类的数据集合包含n个数据对象，许多基于内存的聚类算法选择如下两种有代表性的数据结构：数据矩阵（Datamatrix，或称为对象属性结构）：它用p个变量（也称为属性）来表现n个对象，例如用年龄，身高，性别，种族等属性来表现对象“人”。这种数...

[数据仓库] 数据挖掘之分门别类和预测学习笔记

数据挖掘之分类和预测学习笔记分类和预测数据库内容丰富，蕴藏大量信息，可以用来作出智能的商务决策。分类和预测是两种数据分析形式，可以用于提取描述重要数据类的模型或预测未来的数据趋势。然而，分类是预测分类标号（或离散值），而预测建立连续值函数模型?数据分类是一个两步过程。第一步，建立一个模型，描述预定的...

[数据仓库] 数据挖掘之数据预加工

数据挖掘之数据预处理数据预处理?目的：预处理数据，提高数据质量，从而提高挖掘结果的质量?数据预处理的方法包括：数据清理、数据集成和转换、数据归约。数据清理可以去掉数据中的噪音，纠正不一致。数据集成将数据由多个源合并成一致的数据存储，如数据仓库或数据方。数据变换（如规范化）也可以使用。例如，规范化可以...

[数据仓库] 数据挖掘之复杂门类数据的挖掘学习笔记（3）

数据挖掘之复杂类型数据的挖掘学习笔记（3）Web挖掘万维网目前是一个巨大，分布广泛，全球性的信息服务中心，它涉及新闻，广告，消费信息，金融管理，教育，政府，电子商务，和许多其他信息服务。Web还包含了丰富和动态的超链接信息，以及Web页面的访问和使用信息，这为数据挖掘提供了丰富的资源。然而基于以下的...

[数据仓库] 数据仓库设计基础-关系模型跟多维模型

数据仓库设计基础--关系模型和多维模型专业数据仓库面临的一个问题是数据仓库中数据库设计的基本模型选取问题。广泛采用的数据库设计模型有两种，关系型和多维型。下面介绍两种模型，及其两种方法的区别和在数据仓库中的应用，两种方法的优缺点。在建立数据仓库过程中，对于数据库设计而言，建立关系型数据库是最佳的长期...

[数据仓库] oracle desc下令

oracledesc命令我用dos执行oracle数据库的desc命令语法，提示非法的标示符是什么原因呢！分享到：------解决方案--------------------用sqlplus登录没有？------解决方案--------------------需要用Sqlpus登录数据库后才能执行-...

[数据仓库] 数据挖掘之复杂类型数据的发掘学习笔记（2）

数据挖掘之复杂类型数据的挖掘学习笔记（2）多媒体数据挖掘"什么是多媒体数据库？"多媒体数据库是指存储和管理大量多媒体对象的数据库，如音频数据，图象数据，视频数据，序列数据，以及超文本数据，包含文本，文本标记(textmarkup)，和链接(linkage)。?由于音频视频设备，CD-ROMs，和因特...