[数据仓库] datastage环境变量有关问题

datastage环境变量问题有Jobsequence里有jobproperties；paralleljob里也有jobproperties；客户端Administration里有Environmentvariables。这些设置的都是什么关系啊？会冲突吗？还是有继承关系？------解决方案---...

[数据仓库] 请问kettle抽取数据时超过90万错误退出有关问题

请教kettle抽取数据时超过90万异常退出问题一个etl从源表抽取数据超过90万，整个kettle就秒退了，不知道是什么问题，改了启动配置增加内存也不起作用。。。------解决方案--------------------1、设置抽取行数；2、优化抽取语句；3、增加配置内存。------解决方案-...

[数据仓库] 《数据挖掘概念与技术》阅览笔记

《数据挖掘概念与技术》阅读笔记书籍链接：《数据挖掘概念与技术》上钻(上卷)：通过沿一个维的概念分层向上攀升或者通过归约，对数据立方体进行聚集。1，从city可以向上按照country进行聚集。2，考虑只包含location和time的数据立方体，上卷可以删除time维，导致整个销售按地点，而不是按地...

[数据仓库] 数据仓库数据模型之：极限储存-历史拉链表

数据仓库数据模型之：极限存储--历史拉链表在数据仓库的数据模型设计过程中，经常会遇到这样的需求：1.数据量比较大;2.表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等;3.需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，??比如...

[数据仓库] 数据挖掘算法之离散化跟二元化

数据挖掘算法之离散化和二元化离散化和二元化有些数据挖掘算法，特别是某些分类算法，要求数据是分类属性形式。发现关联模式的算法要求数据是二元属性形式。这样，常常需要将连续属性变换成分类属性（离散化，discretization），并且连续和离散属性可能都需要变换成一个或多个二元属性（二元化，binari...

[数据仓库] 请问自学数据库

请教自学数据库请问SQL和Oracle,Sybase,SQLServer,DB2,Access是什么关系啊我从来没有接触过数据库的东西想自学数据库，要看什么书，谢谢------解决方案--------------------先读三遍《数据库系统概论（第四版）》王珊萨师煊高等教育出版社(掌握基础知识和...

[数据仓库] 关于数据模型解决办法

关于数据模型大家谈谈建立数据模型的意义是什么？为什么需要数据模型？OLTP和OLAP的数据模型有什么区别呢？------解决方案--------------------oltp是联机事务处理，也就是关系型数据库，记录我们平时的增删改查信息，olap是联机分析处理，是一种分析型的数据库，用于对数据进行...

[数据仓库] 数据仓库中dimension,level,hierarchy的懂得

数据仓库中dimension,level,hierarchy的理解dimension:从几何学上理解，就是一个坐标。比如时间是很常见的维。值得注意的是，一个维的确定，维里面的具体的值需要是原子的，不能再分的。level:坐标上当然有刻度。举例来说，时间维如果我们的刻度最小...

[数据仓库] kettle 的数据转移,该如何处理

kettle的数据转移不知道应不应该发到这个区，如果有错误请帮忙转移。我现在有两张表A和B，现在要实现A里的数据往B里实现增量转移。数据量大概在50万条左右。条件1：B里有3个字段是A里没有的，并且不能为空，这三个字段需要用代码生成，然后插入。条件2：A里的数据有可能每天都有添加、修改和删除，B里要...

[数据仓库] 数据仓库开发札记（一）

数据仓库开发笔记（一）最近做一个医疗信息化的项目，需要对医疗数据进行多维分析，也以此为基点开始研究数据仓库。调研了一些开源的数据仓库，重点调研了四种开源的数据仓库。(1)、Bizgres为GreenPlum公司主导的开源项目，和Sun公司达成合作关系。Bizgres为BI应用而对PostgreSQL...

[数据仓库] 关于大数据的有关问题（百万级）

关于大数据的问题（百万级）1.一般这种数据是在哪里操作比较效率呢？数据库还是载入内存或者其他形式？2.这种数据要查找符合一定规则的多条记录应该做呢？因为数据量大，简单的查找感觉效率不高啊------解决方案--------------------百万级数据量放到哪里都不会有太大压力！不知道你具体想做...

[数据仓库] 数据挖掘急需数据解决方案

数据挖掘急需数据要做数据挖掘课程设计，做的是档案管理系统，需要大量的真实的人员档案信息，谁有啊，万条以上------解决方案--------------------数据挖掘实验缺乏的就是数据，但是网上找找应该有的。------解决方案--------------------这样的数据应该不难得到，从...

[数据仓库] 数据仓库 与SIG系统的懂得

数据仓库与SIG系统的理解数据仓库可以简单理解为与事务性数据库相对于的另外一个概念可以通过关系型数据库来用于保存大量的历史数据用于在生产中分析数据给用户提供一些规律性的决策总结性依据从而提高生产效率??数据仓库从功能结构上来说最少要包括数据获取（DataAcquisition）数据存储（DataSt...

[数据仓库] 书籍：数据挖掘全知道

图书：数据挖掘全知道数据挖掘全知道

[数据仓库] cognos NTLM身份验证时解决方案

cognosNTLM身份验证时[size=18px]cognosNTLM身份验证时，新建一个名称时并没有要求输入密码的地方，但从ie登录时要求输入密码，这个密码是什么，从哪里来的，请高人指点！[/size]------解决方案--------------------默认是计算机的用户名和密码----...

[数据仓库] 实时数据分析平台、大数据分析、MPP数据仓库 - vertica （2）实时加载 & 查询

实时数据分析平台、大数据分析、MPP数据仓库-vertica（二）实时加载&查询今天，世界各地的信息是连续产生的。因此，隔夜批量加载数据已经成为奢侈的过去。组织必须能够不停顿地加载到信息到他们的分析平台，同时允许进行数据丰富的分析。信息的时间价值是非常重要的，在数据产生后，用户...

[数据仓库] 实时数据分析平台、大数据分析、MPP数据仓库 - vertica （1）分析平台

实时数据分析平台、大数据分析、MPP数据仓库-vertica（一）分析平台数据分析平台分析平台实时加载&查询高级库内分析数据设计&管理工具列式存储&执行强劲的数据压缩扩展的MPP架构自动的高可用性优化器,执行引擎&负载管理内在的BI,ETL,&Hadoop/M...

[数据仓库] DW2.0与第一代数据仓库的差异

DW2.0与第一代数据仓库的区别DW2.0新一代数据仓库环境的架构。DW2.0和第一代数据仓库有很大的差别。四个最大的差别如下：*随着数据进入并存储于数据仓库，产生了对数据生命周期的认识。*数据仓库总包含非结构化数据。*DW2.0环境包含元数据。*DW2.0的技术基础能够随着时间而变化。DW2.0有...

[数据仓库] 数据仓库新弄法-横纵式DW + 横纵式ETL

数据仓库新玩法---横纵式DW+横纵式ETL?从用途说起?DW:用于分析的数据平台ODS:用于过渡的转换平台?ODS1,集中??将不同数据库,不同数据源的数据统一集中存储?2,隔离??通过ODS隔离数据仓库和业务系统数据库,?可减轻对业务系统的压力?3,实时+明细??存储实时的明细数据,可以据此生成...

[数据仓库] 商业智能BI的三个层次-数据报表、数据分析、数据挖掘

商业智能BI的三个层次-----数据报表、数据分析、数据挖掘???一直对三者之间的关系有点糊涂，刚好看到一篇个人认为有道理的文章就转载过来????经过几年的积累，大部分中大型的企事业单位已经建立了比较完善的CRM、ERP、OA等基础信息化系统。这些系统的统一特点都是:通过业务人员或者用户的操作，最终...