达梦数据库导入导出工具dmfldr
基础信息
OS版本：
Red Hat Enterprise Linux Server release 7.9 (Maipo)
DB版本：
DM Database Server 64 V8
DB Version: 0x7000c
03134284132-20240115-215128-20081
1 dmfldr工具介绍
dmfldr（DM Fast Loader）是 DM 提供的快速数据装载命令行工具。 用户通过使用dmfldr 工具能够把按照一定格式排序的文本数据以简单、快速、高效的方式载入到 DM 数据库中，或把 DM 数据库中的数据按照一定格式写入文本文件。其中，表及表的同义词支持数据导入和导出，视图及视图的同义词仅支持数据导出。
dmfldr 工具的主要功能包括：
- 数据导出：可以按照用户指定的条件导出数据库中的数据，支持导出到不同格式的文件中，例如文本文件或CSV文件等。
- 数据导入：可以将文件中的数据导入到达梦数据库中，支持从上述提到的文本文件或CSV文件导入数据。
dmfldr 的系统结构如图：
2 dmfldr 入门
2.1 启动 dmfldr
安装好 DM 数据库管理系统后，在安装目录的“bin”子目录下可找到dmfldr 执行文件。dmfldr 的使用必须指定必要的参数，否则工具会报错“无效的参数个数”并退出。为dmfldr 指定参数的格式为：
dmfldr keyword=value [keyword=value ...]
例如：
dmfldr USERID=SYSDBA/SYSDBA CONTROL='c:\fldr.ctl'
如例子所示， USERID 和 CONTROL 是启动 dmfldr 必须要指定的参数， 且 USERID 必须是第一个参数， CONTROL 必须是第二个参数。除了在启动命令行中直接指定 dmfldr 参数值外，用户还可以通过设置控制文件中的OPTIONS 选项来指定 dmfldr 参数值，也可以在 dmfldr.ini 配置文件中指定 dmfldr参数值。
注意：
参数值的优先选择顺序为先控制文件中的OPTIONS选项，其次命令行中指定的参数值，最后dmfldr.ini配置文件中指定的参数值。
2.2 查看 dmfldr 参数
可以使用“dmfldr help”查看 dmfldr 版本信息和各参数的简单信息。
[dmdba@test ~]$ cd /dm8/bin
[dmdba@test bin]$ dmfldr help
version: 03134284132-20240115-215128-20081 Pack2
格式: ./dmfldr KEYWORD=value
例程: ./dmfldr SYSDBA/SYSDBA CONTROL='/opt/data/fldr.ctl'
USERID 必须是命令行中的第一个参数
字符串类型参数必须以引号封闭
关键字 说明（默认值）
--------------------------------------------------------------------------------
USERID 用户名/口令， 格式:{<username>[/<password>] | /}[@<connect_identifier>][<option>] [<os_auth>]
<connect_identifier> : [<svc_name> | host[:port] | <unixsocket_file>]
<option> : #{<exetend_option>=<value>[,<extend_option>=<value>]...}
--此行外层{}是为了封装参数之用，书写时需要保留
<os_auth> : AS {SYSDBA|SYSSSO|SYSAUDITOR|USERS|AUTO}
CONTROL 控制文件，字符串类型
LOG 日志文件，字符串类型 (fldr.log)
BADFILE 错误数据记录文件，字符串类型 (fldr.bad)
SKIP 初始忽略逻辑行数 (0)
LOAD 需要装载的行数 (ALL)
ROWS 提交频次 (50000), DIRECT为FALSE有效
DIRECT 是否使用快速方式装载 (TRUE)
SET_IDENTITY 是否插入自增列 (FALSE)
SORTED 数据是否已按照聚集索引排序 (FALSE)
INDEX_OPTION 索引选项 (1)
1 不刷新二级索引，数据按照索引先排序，装载完后再
将排序的数据插入索引
2 不刷新二级索引，数据装载完成后重建所有二级索引
3 刷新二级索引, 数据装载的同时将数据插入二级索引
ERRORS 允许的最大数据错误数 (100)
CHARACTER_CODE 字符编码，字符串类型 (GBK, UTF-8, SINGLE_BYTE, EUC-KR)
MODE 装载方式，字符串类型 IN表示载入，OUT表示载出，
OUTORA表示载出ORACLE (IN)
CLIENT_LOB 大字段目录是否在本地 (FALSE)
LOB_DIRECTORY 大字段数据文件存放目录
LOB_FILE_NAME 大字段数据文件名称，仅导出有效 (dmfldr.lob)
BUFFER_NODE_SIZE 读入文件缓冲区的大小 (10),有效值范围1~2048
LOG_SIZE 日志信息缓冲区的大小 (1),有效值范围1~100
READ_ROWS 工作线程一次最大处理的行数 (100000)，最大支持2^26-10000
NULL_MODE 载入时NULL字符串是否处理为NULL
载出时空值是否处理为NULL字符串 (FALSE)
NULL_STR 载入时视为NULL值处理的字符串
SEND_NODE_NUMBER 运行时发送节点的个数 (20)，有效值范围16~65535
TASK_THREAD_NUMBER 处理用户数据的线程数目，默认与处理器核数量相同，有效值范围1~128
BLDR_NUM 服务器BLDR数目 (64),有效值范围1~1024
BDTA_SIZE bdta的大小 (5000)，有效值范围100~10000
COMPRESS_FLAG 是否压缩bdta (FALSE)
MPP_CLIENT MPP环境，是否本地分发 (TRUE)
SINGLE_FILE MPP/DPC环境，是否只生成单个数据文件(FALSE)
LAN_MODE MPP/DPC环境，是否以内网模式装载数据(FALSE)
UNREP_CHAR_MODE 非法字符处理选项(0),为0时表示跳过该数据行，为1时表示使用(*)替换错误字节
SILENT 是否静默方式装载数据(FALSE)
BLOB_TYPE BLOB类型字段数据值的实际类型，字符串类型 (HEX_CHAR)
HEX表示值为十六进制，HEX_CHAR表示值为十六进制字符类型
仅在direct=FALSE有效
OCI_DIRECTORY OCI动态库所在的目录
DATA 指定数据文件路径
ENABLE_CLASS_TYPE 允许用户导入CLASS类型数据 (FALSE)
FLUSH_FLAG 提交时是否立即刷盘 (FALSE)
IGNORE_BATCH_ERRORS 是否忽略错误数据继续导入 (FALSE)
SINGLE_HLDR_HP 是否使用单个HLDR装载HUGE水平分区表 (TRUE)
EP 指定需要发送数据的站点序号列表，仅向MPP/DPC环境导入数据时有效
PARALLEL 是否开启并行装载(FALSE)
SQL 使用自定义查询语句，仅导出模式有效
SQLFILE 自定义查询语句所在文件，仅导出模式有效
TABLE 导入/出表
ROW_SEPERATOR 行分隔符
FIELD_SEPERATOR 列分隔符
COMMIT_OPTION 提交选项(0), 0:每发送一批数据后提交, 1:发送完所有数据后提交
APPEND_OPTION 追加选项(0), 0: 追加方式, 1: 替代方式, 2: 插入方式
COLNAME_HEADING 是否在导出文件头中打印列名(FALSE)
IGNORE_AIMLESS_DATA 是否忽略无目标数据(FALSE)
LOB_AS_VARCHAR 是否将CLOB作为VARCHAR进行导入导出(FALSE)
LOB_AS_VARCHAR_SIZE 将CLOB作为VARCHAR进行导入导出时, lob数据最大大小(10)MB
LOG_LEVEL 记录错误数据信息级别(3), 0: 不记录 1: 只记录到log文件 2: 只记录到bad文件 3: 记录到log和bad文件 4: 错误仅输出到屏幕
FLDR_INI 配置文件路径，字符串类型
RECONN 自动重连次数(0)
RECONN_TIME 自动重连等待时间(5), 单位(s), 有效值范围(1~10000)
WIDTH 设置列数据宽度
SEDF 被替换的字符列表
SEDT 用于替换的字符列表
ESCAPE 转义符
DB2_MODE 兼容DB2模式
PRIORITY_ENCLOSE DB2模式下, enclose优先级最高
HELP 打印帮助信息
2.3 dmfldr导入测试
当 dmfldr 工作在 IN 模式时，从数据文件中读取数据并载入数据库。
2.3.1 建表 TEST
在test用户下创建表test。
[dmdba@test ~]$ disql test/Dameng123
服务器[LOCALHOST:5236]:处于普通打开状态
登录使用时间 : 6.286(ms)
disql V8
SQL> select user();
行号 USER()
---------- ------
1 TEST
已用时间: 0.243(毫秒). 执行号:1001.
SQL> CREATE TABLE TEST(C1 INT,C2 INT,C3 DATE);
操作已执行
已用时间: 36.704(毫秒). 执行号:1002.
2.3.2 编辑数据文件 test.txt
编辑数据文件 test.txt，存放路径为/tmp/test.txt
vi /tmp/test.txt
1 1|2015-11-06
2 2|2015-11-05
3 3|2015-11_04
2.3.3 编辑控制文件 test.ctl
编辑控制文件 test.ctl，存放路径为/tmp/test.ctl
vi /tmp/test.ctl
LOAD DATA
INFILE '/tmp/test.txt'
INTO TABLE test
FIELDS '|'
(
C1 TERMINATED BY ' ',
C2,
C3 DATE FORMAT 'yyyy-mm-dd'
)
2.3.4 使用 dmfldr 进行导入
[dmdba@test bin]$ pwd
/dm8/bin
[dmdba@test bin]$ ./dmfldr userid=test/Dameng123@localhost:5236 control=\'/tmp/test.ctl\'
dmfldr V8
控制文件：
加载行数:全部
每次提交服务器行数:50000
跳过行数:0
允许错误数:100
是否直接加载:Yes
是否插入自增列:No
数据是否已按照聚集索引排序:No
字符集:UTF-8
数据文件共1个:
/tmp/test.txt
错误文件:fldr.bad
目标表:TEST
列名 包装数据类型 终止
C1 CHARACTER WHT
C2 CHARACTER |
C3 yyyy-mm-dd |
行缓冲区数量: 4
任务线程数量: 4
3行记录已提交
目标表:TEST
load success.
3 行加载成功。
0 行由于数据错误没有加载。
0 行由于数据格式错误被丢弃。
跳过的逻辑记录总数:0
读取的逻辑记录总数:3
拒绝的逻辑记录总数:0
8.671(ms)已使用
2.3.5 数据确认
[dmdba@test ~]$ disql test/Dameng123
服务器[LOCALHOST:5236]:处于普通打开状态
登录使用时间 : 2.621(ms)
disql V8
SQL> select user();
行号 USER()
---------- ------
1 TEST
已用时间: 0.223(毫秒). 执行号:1201.
SQL> select * from test;
行号 C1 C2 C3
---------- ----------- ----------- ----------
1 1 1 2015-11-06
2 2 2 2015-11-05
3 3 3 2015-11-04
已用时间: 3.420(毫秒). 执行号:1202.
2.4 dmfldr导出测试
当工作在 OUT模式时，从数据库中将指定数据导出到数据文件。
2.4.1 编辑控制文件 test.ctl
编辑控制文件 test_out.ctl，存放路径为/tmp/test_out.ctl
vi /tmp/test_out.ctl
LOAD DATA
INFILE '/tmp/test_out.txt'
INTO TABLE test
FIELDS '@@'
(
C1,
C2,
C3
)
2.4.2 使用 dmfldr 进行导出数据
[dmdba@test bin]$ pwd
/dm8/bin
[dmdba@test bin]$ ./dmfldr userid=test/Dameng123@localhost:5236 control=\'/tmp/test_out.ctl\' mode=\'out\'
dmfldr V8
3 rows is load out
export success.
3 行数据已导出
用时:20.397(ms)
2.4.3 数据确认
[dmdba@test bin]$ cat /tmp/test_out.txt
1@@1@@2015-11-06
2@@2@@2015-11-05
3@@3@@2015-11-04
更多内容请查看官方文档《DM8_dmfldr使用手册》
谨记：心存敬畏，行有所止。
