当前位置: 代码迷 >> SQL >> SQL Loader 统制文件的写法
  详细解决方案

SQL Loader 统制文件的写法

热度:215   发布时间:2016-05-05 14:32:08.0
SQL Loader 控制文件的写法
一、SQL Loader定义

SQL Loader可以把一些以文本格式存放的数据顺利的导入到oracle数据库中,是一种在不同数据库之间进行数据迁移的非常方便而且通用的工具。通常用来将操作系统文件迁移到ORACLE数据库中。SQL Loader是大型数据仓库选择使用的加载方法,因为它提供了最快速的途径(DIRECT,PARALLEL)。

缺点就速度比较慢,另外对blob等类型的数据就有点麻烦了。

二、SQL Loader用法

在Window系统下,SQL Loader的命令为SQLLDR,在UNIX下一般为sqlldr/sqlload。
用法: SQLLDR keyword=value [,keyword=value,...]
有效的关键字:
     userid                    -- ORACLE username/password 
     control                   -- 控制文件

  log                          -- 记录的日志文件
     bad                         -- 坏数据文件,如果有的数据没有被处理,将会出现在这里。
     data                       -- 数据文件

discard                 -- 丢弃的数据文件

discardmax          -- 允许丢弃数据的最大值        (全部默认)
     skip                         -- Number of logical records to skip  (默认0)
     load                        -- Number of logical records to load  (全部默认)

errors                    – 允许的错误记录数          (默认50)

rows                      -- Number of rows in conventional path bind array or between direct path data saves   (每次提交的记录数,默认: 常规路径 64, 所有直接路径)

bindsize                 -- Size of conventional path bind array in bytes(默认256000)
                                      每次提交记录的缓冲区的大小(字节为单位,默认256000)

silent                      -- 禁止输出信息 (header,feedback,errors,discards,partitions)

direct                     -- 使用直通路径方式导入                    (默认FALSE)

parfile                    -- parameter file: name of file that contains parameter specifications

parallel                  -- 并行导入                   (默认FALSE)

file                          -- File to allocate extents from
-- 与bindsize成对使用,其中较小者会自动调整到较大者。sqlldr先计算单条记录长度,乘以rows,如小于bindsize,不会试图扩张rows以填充bindsize;如超出,则以bindsize为准。

external_table                    -- use external table for load; NOT_USED, GENERATE_ONLY, EXECUTE(默认NOT_USED)
columnarrayrows               -- Number of rows for direct path column array(默认5000)
streamsize                           -- Size of direct path stream buffer in bytes(默认256000)
multithreading                    -- use multithreading in direct path
resumable                           -- enable or disable resumable for current session(默认FALSE)
resumable_name               -- text string to help identify resumable statement
resumable_timeout           -- wait time (in seconds) for RESUMABLE(默认7200)
date_cache                          -- size (in entries) of date conversion cache(默认1000)

注意:有两种方式可以指定命令行参数:通过位置或者通过关键字。通过位置的例子:'sqlldr scott/tiger test.ctl',通过关键字的例子:'sqlldr userid=scott/tiger  control=test log=test.log';但是不能前面使用关键字指定后面通过位置制定的混合方式;为清楚起见最好所有命令行参数都用关键字指定。


三、SQL Loader实例

控制文件的写法:

示例一:

一个控制命令的脚本文件,通常以ctl结尾,内容如下:

LOAD    DATA
INFILE          't.dat'                     要导入的文件
// INFILE      'tt.date'                                 导入多个文件
// INFILE *         表示要导入的内容就在control本文件里;下面的BEGINDATA后面就是导入的内容
INTO  TABLE    table_name    指定装入的表

BADFILE            'c:/bad.txt'    可选,指定坏文件地址,缺省在当前目录下生成与原文件名一致的.bad文件

APPEND             原先的表有数据 就加在后面                                                ※注一
FIELDS   TERMINATED    BY    ','    OPTIONALLY    ENCLOSED  BY '"'           ※注二
TRAILING     NULLCOLS            表的字段没有对应的值时允许为空
************* 下面是表的字段
(

col_1 ,

col_2 ,

col_filler   FILLER                 // FILLER 关键字    此列的数值不会被装载
// 如:  lg, lg, not 结果 lg lg

)

BEGINDATA               对应开始的 INFILE * 要导入的内容就在control文件里
10,Sql,what
20,lg,show

注一:

************* 以下是4种装入表的方式
APPEND                原先的表有数据 就加在后面
INSERT                  装载空表 如果原先的表有数据 sqlloader会停止 默认值
REPLACE               原先的表有数据 原先的数据会全部删除
TRUNCATE           指定的内容和replace的相同 会用truncate语句删除现存数据

注二:

// TERMINATED    BY     WRITESPACE                             表示以空白分割
如果没声明FIELDS    TERMINATED   BY     ',' 时,可以用下面两种方式实现同样功能:
1、为每一列指定分隔符
(

col_1 [interger external] TERMINATED BY ',' ,
col_2 [date "dd-mon-yyy"] TERMINATED BY ',' ,              //插入DATE数据
col_3 [char] TERMINATED BY ',' OPTIONALLY ENCLOSED BY 'lg'

)
2、用位置告诉字段装载数据
(

col_1 position(1:2),
col_2 position(3:10),
col_3 position(*:16),                  // 这个字段的开始位置在前一字段的结束位置
col_4 position(1:16),
col_5 position(3:10) char(8)     // 指定字段的类型

)

示例二: 使用自定义的函数              // 解决的时间问题

在控制文件可以写入日期,但无法插入时间,写一个函数来处理这方面的问题。该函数要在Oracle中执行。

create   or  replace  function my_to_date( p_string in varchar2 ) return date

as

type  fmtArray  is  table  of  varchar2(25);

l_fmts fmtArray  :=  fmtArray( 'dd-mon-yyyy', 'dd-month-yyyy', 'dd/mm/yyyy',

'dd/mm/yyyy hh24:mi:ss' );   --要转换的格式,可在这里添加想要的格式。

l_return date;   --返回的日期

begin

for i in 1 .. l_fmts.count  loop

begin

l_return := to_date( p_string, l_fmts(i) );    --用上面定义的格式转化日期

exception

when
  相关解决方案