当前位置: 代码迷 >> 综合 >> 什么是ETL、Kettle,Kettle数据迁移、常用ETL工具
  详细解决方案

什么是ETL、Kettle,Kettle数据迁移、常用ETL工具

热度:49   发布时间:2023-12-11 15:50:38.0
  • ETL:ETL是用来描述将数据从源端经过提取、转换、装入到目的端的过程。ETL是构建数据仓库的重要一环,它包含了三个方面,首先是“抽取”,将数据从各种原始的业务系统中读取出来,这是所有工作的前提。其次是“转换”,按照预先设计好的规则将抽取的数据进行转换,使本来异构的数据格式能统一起来。最后是“装载”,将转换完的数据按计划增量或全部导入到数据仓库中。
  • 常用ETL工具:
  • ETL工具的典型代表有Informatica PowerCenter、IBM Datastage、Oracle Warehouse Builder(OWB)、Oracle Data Integrator(ODI)、Microsoft SQL Server Integration Services及开源的Kettle。
  • Kettle允许用户管理来自不同数据库的数据,它有两种脚本文件:transformation和job。transformation完成针对数据的基础转换,job则完成整个工作流的控制。Kettle目前包括以下几个产品:
  • (1)Chef:可使用户创建任务(Job)。它是提供图形用户界面的工作设计工具。
  • (2)Kitchen:可使用户批量使用由Chef设计的任务,一般在自动调度时借助此命令调用调试成功的任务。它是一个后台运行的程序,以命令行方式,没有图形用户界面。
  • (3)Spoon:可使用户通过图形界面来设计ETL转换过程,一般在编写和调试ETL时用到。
  • (4)Span:可使用户批量运行由Spoon设计的ETL转换,Span是一个后台执行的程序,以命令行方式,没有图形界面,一般在自动调度时借助此命令调用调试成功的转换。
  • 实例:使用Kettle将MySQL数据库中的数据表迁移到Oracle数据库中。