当前位置: 代码迷 >> 数据仓库 >> kettle 的数据转移,该如何处理
  详细解决方案

kettle 的数据转移,该如何处理

热度:260   发布时间:2016-05-05 16:03:38.0
kettle 的数据转移
不知道应不应该发到这个区,如果有错误请帮忙转移。

我现在有两张表A和B,现在要实现A里的数据往B里实现增量转移。数据量大概在50万条左右。

条件1:B里有3个字段是A里没有的,并且不能为空,这三个字段需要用代码生成,然后插入。
条件2:A里的数据有可能每天都有添加、修改和删除,B里要实现同步。


kettle新手,看了两天的kettle文档,但是还是不知道如何下手,之前是用存储过程实现的,但是有点麻烦,所以想使用工具。

请各位帮忙给个方案,谢谢了!!!

------解决方案--------------------
kettle本身没有实现触发器捕捉数据变化的机制,你如果需要实现这样的效果,需要在源数据那边做数据预处理,对源数据进行增、删、改的数据捕捉,然后与存储到临时表中。数据抽取对象再转换为这个临时表,按照时间戳来进行数据过滤,需要注意时间的格式。
------解决方案--------------------
楼主针对的数据库有很多吗,如果只是纯oracle和sqlSERVER,可以考虑用数据库本身的CDC功能把要捕捉的表发布出来。

IBM有一款用于数据捕捉的通用CDC软件比较,如果有米可以考虑,呵呵
------解决方案--------------------
在表里添加一个字段做为标识符,同步、修改时改变这个状态,当状态改变时对这些数据向b表进行新增或修改