[数据仓库] 数据仓库开发札记（二）

数据仓库开发笔记（二）数据仓库开发的流程是确定用户需求——>设计和建立数据库——>提取和加载数据，其中设计和建立数据库步骤中分为：确定事实表和维度表设计事实表设计维度表实现数据库设计而提取和加载数据分为：校验数据迁移数据数据净化转换数据因此当我们有建立数据仓库的需求时候，首先按照需求设计...

[数据仓库] 关于大数据的有关问题（百万级）

关于大数据的问题（百万级）1.一般这种数据是在哪里操作比较效率呢？数据库还是载入内存或者其他形式？2.这种数据要查找符合一定规则的多条记录应该做呢？因为数据量大，简单的查找感觉效率不高啊------解决方案--------------------百万级数据量放到哪里都不会有太大压力！不知道你具体想做...

[数据仓库] 数据挖掘急需数据解决方案

数据挖掘急需数据要做数据挖掘课程设计，做的是档案管理系统，需要大量的真实的人员档案信息，谁有啊，万条以上------解决方案--------------------数据挖掘实验缺乏的就是数据，但是网上找找应该有的。------解决方案--------------------这样的数据应该不难得到，从...

[数据仓库] 数据仓库 与SIG系统的懂得

数据仓库与SIG系统的理解数据仓库可以简单理解为与事务性数据库相对于的另外一个概念可以通过关系型数据库来用于保存大量的历史数据用于在生产中分析数据给用户提供一些规律性的决策总结性依据从而提高生产效率??数据仓库从功能结构上来说最少要包括数据获取（DataAcquisition）数据存储（DataSt...

[数据仓库] ODI知识模块二次开发中的有关问题

ODI知识模块二次开发中的问题小弟初学ODI最近在试验做ODI10G知识模块二次开发，为了简单起见，就在IKMOracleIncrementalUpdate的基础上加了一个步骤，这个步骤是执行一个简单的存储过程，向目标数据库的一个表中插入一条日志记录（记录本次ETL数据加载是否完成，是否成功，已经其...

[数据仓库] Hive - 运用于hadoop的拍字节范畴数据仓库

Hive-运用于hadoop的拍字节范围数据仓库Hive-运用于hadoop的拍字节范围数据仓库2011年05月17日【原文】HiveAPetabyteScaleDataWarehouseUsingHadoop【作者】Facebook数据架构组：AshishThusoo,JoydeepSenSarm...

[数据仓库] 书籍：数据挖掘全知道

图书：数据挖掘全知道数据挖掘全知道

[数据仓库] 数据仓库-征集用户访问日志

数据仓库--收集用户访问日志最近在做数据仓库的技术方案设计。?首先需要的是收集网站日常的访问日志，主要可以用来确定用户访问的PV,UV等，甚至跟踪用户的访问轨迹等等。?查看了很多资料，主要介绍了两种方案：?1，基于客户端：在每个页面写上统计代码JS，JS把统计的参数请求给日志服务器（类似google...

[数据仓库] 测试数据集,监察数据集，数据挖掘常用的数据集

测试数据集,监督数据集，数据挖掘常用的数据集常用的基本上UCI和w3c的。关于源代码，网上有很多公开源码的算法包，例如最为著名的Weka，MLC++等。Weka还在不断的更新其算法，下载地址：http://www.cs.waikato.ac.nz/ml/weka/UCI收集的机器学习数据集ftp:/...

[数据仓库] cognos NTLM身份验证时解决方案

cognosNTLM身份验证时[size=18px]cognosNTLM身份验证时，新建一个名称时并没有要求输入密码的地方，但从ie登录时要求输入密码，这个密码是什么，从哪里来的，请高人指点！[/size]------解决方案--------------------默认是计算机的用户名和密码----...

[数据仓库] 实时数据分析平台、大数据分析、MPP数据仓库 - vertica （2）实时加载 & 查询

实时数据分析平台、大数据分析、MPP数据仓库-vertica（二）实时加载&查询今天，世界各地的信息是连续产生的。因此，隔夜批量加载数据已经成为奢侈的过去。组织必须能够不停顿地加载到信息到他们的分析平台，同时允许进行数据丰富的分析。信息的时间价值是非常重要的，在数据产生后，用户...

[数据仓库] 实时数据分析平台、大数据分析、MPP数据仓库 - vertica （1）分析平台

实时数据分析平台、大数据分析、MPP数据仓库-vertica（一）分析平台数据分析平台分析平台实时加载&查询高级库内分析数据设计&管理工具列式存储&执行强劲的数据压缩扩展的MPP架构自动的高可用性优化器,执行引擎&负载管理内在的BI,ETL,&Hadoop/M...

[数据仓库] ORA 触发器的有关问题,大侠请进

ORA触发器的问题,大侠请进SQLcodeDROPTABLESIMM_H_F_MASTERCASCADECONSTRAINTS;CREATETABLESIMM_H_F_MASTER(IMSI_HVARCHAR2(20)NOTNULL,MSISDN_HVARCHAR2(20)NOTNULL,NETWO...

[数据仓库] 数据挖掘中分门别类和聚类的区别【转】

数据挖掘中分类和聚类的区别【转】??在数据挖掘技术中分类和聚类很容易让人混淆。分类和聚类是有区别的，下面是我整理的有关数据挖掘中分类和聚类的资料。1.分类?分类是数据挖掘中的一项非常重要的任务，利用分类技术可以从数据集中提取描述数据类的一个函数或模型（也常称为分类器），并把数据集中的每个对象归结到某...

[数据仓库] DW2.0与第一代数据仓库的差异

DW2.0与第一代数据仓库的区别DW2.0新一代数据仓库环境的架构。DW2.0和第一代数据仓库有很大的差别。四个最大的差别如下：*随着数据进入并存储于数据仓库，产生了对数据生命周期的认识。*数据仓库总包含非结构化数据。*DW2.0环境包含元数据。*DW2.0的技术基础能够随着时间而变化。DW2.0有...

[数据仓库] 数据仓库新弄法-横纵式DW + 横纵式ETL

数据仓库新玩法---横纵式DW+横纵式ETL?从用途说起?DW:用于分析的数据平台ODS:用于过渡的转换平台?ODS1,集中??将不同数据库,不同数据源的数据统一集中存储?2,隔离??通过ODS隔离数据仓库和业务系统数据库,?可减轻对业务系统的压力?3,实时+明细??存储实时的明细数据,可以据此生成...

[数据仓库] 数据仓库2008年大事记跟2009年预测

数据仓库2008年大事记和2009年预测http://www.tdwi.org/News/display.aspx?ID=9261?12/17/2008?ByMikeSchiff?As2008drawstoaclose,it’stimetolookbackatsomeofthemajorevents...

[数据仓库] 商业智能BI的三个层次-数据报表、数据分析、数据挖掘

商业智能BI的三个层次-----数据报表、数据分析、数据挖掘???一直对三者之间的关系有点糊涂，刚好看到一篇个人认为有道理的文章就转载过来????经过几年的积累，大部分中大型的企事业单位已经建立了比较完善的CRM、ERP、OA等基础信息化系统。这些系统的统一特点都是:通过业务人员或者用户的操作，最终...

[数据仓库] 数据挖掘之归类（kNN算法的描述及使用）

数据挖掘之分类（kNN算法的描述及使用）/***作者：张荣华*日期：2008-2-23**/数据挖掘之分类系列文章之前说到分类的基本概念以及一个文本分类的实例，原文地址见：http://www.iteye.com/topic/163285现在我们就来改造之前的分类算法，本文主要介绍KNN算法在文本分...

[数据仓库] hadoop+hive 干数据仓库 & 一些测试

hadoop+hive做数据仓库&一些测试由于是一个项目的一部分，去掉了项目名称，和大家一起交流，?msn:sdtvATmsn.com?转载标明?:www.bagbaby.cn???http://hi.baidu.com/dd_shop?背景需求和现状目前的日志系统还称不上系统，只是在几台服...