使用nzload加载特殊字符

我在 Oracle 表数据中扩展了 ascii 字符，我可以使用带有 \ 转义字符前缀的 sqlplus 将其提取到文件中。我想使用 nzload 将完全相同的数据加载到 netezza 表中。

nzload 在遇到此 char seq (c2bf) 时添加几个额外字节 在提取的文件数据中：

echo "PROFESSIONAL¿" | od -x
0000000  5052 4f46 4553 5349 4f4e 414c **c2bf** 0a00

加载后：

echo "PROFESSIONAL¿" | od -x
0000000  5052 4f46 4553 5349 4f4e 414c **c382 c2bf**

在 nzload 命令行上，我有以下选项： -escapechar \ -ctrlchars

任何人都可以提供任何帮助吗？

我对 Unicode 转换问题不是很了解，但我以前自己也这样做过，我将演示我认为正在发生的情况。

我相信您在这里看到的不是使用 nzload 加载特殊字符的问题，而是您的显示/终端软件如何显示数据和/或 Netezza 如何存储字符数据的问题。我怀疑与 UTF-8（Netezza 支持的 Unicode 编码）之间存在双重转换。让我们看看我们能否找出它是什么。

在这里，我使用 PuTTY，默认（对我而言）远程字符集为 Latin-1。

$ od -xa input.txt
0000000    5250    464f    5345    4953    4e4f    4c41    bfc2    000a
          P   R   O   F   E   S   S   I   O   N   A   L   B   ?  nl
0000017

$ cat input.txt
PROFESSIONAL¿

从这里我们可以看到od该文件仅包含我们期望的数据，但是当我们cat该文件我们看到了额外的字符。如果文件中没有该字符，则该字符可能来自显示翻译。

如果我将 PuTTY 设置更改为 UTF-8 作为远程字符集，我们会看到这样的结果：

$ od -xa input.txt
0000000    5250    464f    5345    4953    4e4f    4c41    bfc2    000a
          P   R   O   F   E   S   S   I   O   N   A   L   B   ?  nl
0000017
$ cat input.txt
PROFESSIONAL¿

因此，相同的源数据，但有两种不同的屏幕表示，这并非巧合，与您的两个不同输出相同。相同的数据至少可以以两种方式显示。

现在让我们看看它如何加载到 Netezza 中，一次加载到 VARCHAR 列中，然后再次加载到 NVARCHAR 列中。

create table test_enc_vchar (col1 varchar(50));
create table test_enc_nvchar (col1 nvarchar(50));

$ nzload -db testdb -df input.txt -t test_enc_vchar -escapechar '\' -ctrlchars
Load session of table 'TEST_ENC_VCHAR' completed successfully
$ nzload -db testdb -df input.txt -t test_enc_nvchar -escapechar '\' -ctrlchars
Load session of table 'TEST_ENC_NVCHAR' completed successfully

加载的数据没有错误。请注意，当我指定 escapechar 选项时nzload，此特定输入数据样本中的任何字符都不需要转义，也没有转义。

我现在将使用 SQL 扩展工具包中的 rawtohex 函数作为数据库内工具，就像我们使用过的那样od从命令行。

select rawtohex(col1) from test_enc_vchar;
           RAWTOHEX
------------------------------
 50524F46455353494F4E414CC2BF
(1 row)

select rawtohex(col1) from test_enc_nvchar;
           RAWTOHEX
------------------------------
 50524F46455353494F4E414CC2BF
(1 row)

此时，两列似乎具有与输入文件完全相同的数据。到目前为止，一切都很好。

如果我们选择该列怎么办？作为记录，我在 PuTTY 会话中使用 UTF-8 远程字符集执行此操作。

select col1 from test_enc_vchar;
      COL1
----------------
 PROFESSIONAL¿
(1 row)

select col1 from test_enc_nvchar;
     COL1
---------------
 PROFESSIONAL¿
(1 row)

相同的二进制数据，但显示不同。如果我然后将每个选择的输出复制到echo通过管道传送到od,

$ echo PROFESSIONAL¿ | od -xa
0000000    5250    464f    5345    4953    4e4f    4c41    82c3    bfc2
          P   R   O   F   E   S   S   I   O   N   A   L   C stx   B   ?
0000020    000a
         nl
0000021

$ echo  PROFESSIONAL¿ | od -xa
0000000    5250    464f    5345    4953    4e4f    4c41    bfc2    000a
          P   R   O   F   E   S   S   I   O   N   A   L   B   ?  nl
0000017

根据此输出，我打赌您正在将示例数据（我还打赌为 UTF-8）加载到 VARCHAR 列而不是 NVARCHAR 列中。这本身并不是问题，但可能会产生显示/转换问题。

一般来说，您希望将 UTF-8 数据加载到 NVARCHAR 列中。