[数据仓库] 基于“全表对照方式”的增量数据抽取

基于“全表对比方式”的增量数据抽取本帖最后由commonnx于2010-11-0823:43:15编辑典型的全表比对的方式是采用MD5校验码。ETL工具事先为要抽取的表建立一个结构类似的MD5临时表，该临时表记录源表主键以及根据所有字段的数据计算出来的MD5校验码。每次进行数据抽取时，对源表和MD5...

[数据仓库] T-SQL访问ROLAP的疑点

T-SQL访问ROLAP的疑问.目前用SQLSERVER2000的数据库,如果这个OLAP是以ROLAP形式组织的话.是否能同时用T-SQL和MDX对其进行访问?------解决思路----------------------T-SQL是访问SQLServer服务，而MDX访问的是MSSQLServ...

[数据仓库] 三级数据库解决思路

三级数据库计算机等级考试三级数据库技术，看什么书啊，要具备什么知识啊？------解决思路----------------------有专门的教材，考试用书。如果是针对考试这些就够了。如果是想学习数据库则先读几遍《数据库系统概论（第四版）》王珊萨师煊高等教育出版社(掌握基础知识和概念)然后再粗略浏览...

[数据仓库] 大表优化,该怎么解决

大表优化请问各位大侠，我有一张表有一亿条记录，有6个字段:id,Surname,givenname,spouse_name,mother_name,year,除了一个字段id很少用到外，其它字段都是经常使用，但不会更新，删除，因为是一个数据仓库，所以我应该如何创建索引呢？------解决思路----...

[数据仓库] 安装Informatica时出现异常，说磁盘空间不足，但实际下很足的啊

安装Informatica时出现错误，说磁盘空间不足，但实际上很足的啊？我重装过，第一次貌似没有这个问题。。。------解决思路----------------------试着删除C盘里的一些临时文件目录里的东西再试呢？------解决思路----------------------拿分，闪人--...

[数据仓库] [数据仓库]什么是主数据治理

[数据仓库]什么是主数据管理主数据是指在整个企业范围内各个系统(操作/事务型应用系统以及分析型系统)间要共享的数据，?比如，可以是与客户(customers),供应商(suppliers),帐户(accounts)以及组织单位(organizationalunits)相关的数据。??主数据通常需要在...

[数据仓库] 数据挖掘推荐系统MAE有关问题

数据挖掘推荐系统MAE问题有训练集和测试集，用训练集来预测目标用户对目标项目的评分。所以我理解的MAE是，根据测试集里目标用户对目标项目的实际评分，用训练集算出目标用户对目标项目的预测评分，用这两者算出用户的MAE，也就是说一个用户对应一个MAE？我的理解对不对？不对的话，正确的MAE怎么理解，怎么...

[数据仓库] 数据挖掘方向就业有人懂得么

数据挖掘方向就业有人了解么？数据挖掘专业哪些学校比较牛？------解决方案--------------------中国人民大学------解决方案--------------------看个人...决不能因学校决定个人,,,,这是经验------解决方案--------------------跟学...

[数据仓库] KETTLE中JS处置

KETTLE中JS处理EXCEL输入后，有一字段内容，有些记录该字段内容为空，若为空，则用上一记录的值。比如原始数据需要变成11111221113344455请问在JS中该怎么写？------解决方案--------------------Excel里面在去除空格类型那里，把所有的空格去掉。拖一个M...

[数据仓库] data migration -二 构造 临时数据仓库，用于提取数据

datamigration-2构造临时数据仓库，用于提取数据构造临时数据仓库，用于提取数据?设想在这个阶段完成大部分的商业逻辑转换工作，使用pentaho工具，帮助转换数据到临时表环境设置：1.临时表尽可能与新数据库表结构相同，但是当中会加几个帮助做逻辑的column类似flag?优点：集中转换工作...

[数据仓库] 应用SQL Server Analysis Services数据挖掘的关联规则实现商品推荐功能（五）

使用SQLServerAnalysisServices数据挖掘的关联规则实现商品推荐功能（五）假如你有一个购物类的网站，那么你如何给你的客户来推荐产品呢？这个功能在很多电商类网站都有，那么，通过SQLServerAnalysisServices的数据挖掘功能，你也可以轻松的来构建类似的...

[数据仓库] 数据挖掘学习笔记之ID3算法(一)

数据挖掘学习札记之ID3算法(一)参考：1.Wiki上的ID3algorithm2.百度文库里的一个PPT，有算例，决策树ID3算法3.百度文库，PPT，很多算例，开始有信息理论，极力推荐阅读，ID3算法4.用Python实现ID3和C4.5决策树ID3和C4.5算法Python实现源码下面是整理的...

[数据仓库] 数据挖掘学习笔记之KNN算法（二）

数据挖掘学习札记之KNN算法（二）在数据挖掘学习札记之KNN算法（一）里，使用sklearn模块对例子进行了求解，但是并不清楚k的取值。下面是我写的一个Python代码，程序采用“小题大做”的方式，一方面可以熟悉算法，另一方面练习Python编程，可以看到,当k取1,2,3,4,5时，...

[数据仓库] 数据挖掘学习笔记之KNN算法（三）

数据挖掘学习札记之KNN算法（三）1.如何确定近邻数k的值？答：可通过实验确定。从k=1开始，使用检验集估计分类器的错误率。每次k增加1，选取产生最小错误率的值。2.在特征空间的维数和训练数据大时，如何对训练数据进行快速k近邻搜索？答：可使用特殊的结构存储训练数据，以减少...

[数据仓库] 数据挖掘学习笔记之KNN算法（一）

数据挖掘学习札记之KNN算法（一）参考：1.KNN算法介绍，Python程序和一个简单算例2.k-nearestneighboralgorithm基本想法：在距离空间里，如果一个样本的最接近的k个邻居里，绝大多数属于某个类别，则该样本也属于这个类别。俗话叫，“随大流”。算法描述：1.依公式计算Ite...

[数据仓库] 什么是多流异构数据

什么是多源异构数据？异构的意思是结构不同？还是格式不同？能否举例告知，小妹感恩不尽~异构------解决方案--------------------应该说的是不同数据库中的数据吧

[数据仓库] 商业智能的执行步骤 数据仓库

商业智能的实施步骤数据仓库商业智能的实施步骤数据仓库的特点1、面向主题操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。2、集成的数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据...

[数据仓库] 多表 数据挖掘,该如何处理

多表数据挖掘我是一个菜鸟问一下有什么办法可以多表数据挖掘吗还是必须合到一个表中去处理呢------解决方案--------------------表有大小吗？让多个小表笛卡尔积，然后与大表hashjoin制造雪花片效果

[数据仓库] 数据仓库现势

数据仓库现状有很久没有关着这个领域了，请大虾们说一说BI当前的现状？包括BI建设的新思路、工具与产品情况等。------解决方案--------------------引用数据仓库的概念自出现后，首先被应用于金融、电信、保险等传统数据处理密集的行业。国外许多大型的数据仓库在1996-1997年建立。...

[数据仓库] 数据挖掘归类技术

数据挖掘分类技术数据挖掘分类技术从分类问题的提出至今，已经衍生出了很多具体的分类技术。下面主要简单介绍四种最常用的分类技术，不过因为原理和具体的算法实现及优化不是本书的重点，所以我们尽量用应用人员能够理解的语言来表述这些技术。而且我们会在第4章再次给读者讲述分类算法和相关原理。在我们学习这些算法之前...