使用 iconv 将 UTF8 转换为 UTF16

当我使用 iconv 从 UTF16 转换为 UTF8 时，一切都很好，但反之亦然，它不起作用。 我有这些文件：

a-16.strings:    Little-endian UTF-16 Unicode c program text
a-8.strings:     UTF-8 Unicode c program text, with very long lines

文本在编辑器中看起来不错。当我运行这个时：

iconv -f UTF-8 -t UTF-16LE a-8.strings > b-16.strings

然后我得到这个结果：

b-16.strings:    data
a-16.strings:    Little-endian UTF-16 Unicode c program text
a-8.strings:     UTF-8 Unicode c program text, with very long lines

The file实用程序不显示预期的文件格式，并且文本在编辑器中看起来也不太好。是不是 iconv 没有创建正确的 BOM？我在 MAC 命令行上运行它。

为什么 b-16 不是正确的 UTF-16LE 格式？有没有其他方法将 utf8 转换为 utf16？

更多详细说明如下。

$ iconv -f UTF-8 -t UTF-16LE a-8.strings > b-16le-BAD-fromUTF8.strings
$ iconv -f UTF-8 -t UTF-16 a-8.strings > b-16be.strings 
$ iconv -f UTF-16 -t UTF-16LE b-16be.strings > b-16le-BAD-fromUTF16BE.strings

$ file *s
a-16.strings:                   Little-endian UTF-16 Unicode c program text, with very long lines
a-8.strings:                    UTF-8 Unicode c program text, with very long lines
b-16be.strings:                 Big-endian UTF-16 Unicode c program text, with very long lines
b-16le-BAD-fromUTF16BE.strings: data
b-16le-BAD-fromUTF8.strings:    data


$ od -c a-16.strings | head
0000000  377 376   /  \0   *  \0      \0  \f 001   E  \0   S  \0   K  \0

$ od -c a-8.strings | head 
0000000    /   *   *   *       Č  **   E   S   K   Y       (   J   V   O

$ od -c b-16be.strings | head
0000000  376 377  \0   /  \0   *  \0   *  \0   *  \0     001  \f  \0   E

$ od -c b-16le-BAD-fromUTF16BE.strings | head                                
0000000    /  \0   *  \0   *  \0   *  \0      \0  \f 001   E  \0   S  \0

$ od -c b-16le-BAD-fromUTF8.strings | head
0000000    /  \0   *  \0   *  \0   *  \0      \0  \f 001   E  \0   S  \0

很明显，每当我运行到 UTF-16LE 的转换时，BOM 就会丢失。 对此有什么帮助吗？

UTF-16LE tells iconv生成小尾数 UTF-16withoutBOM（字节顺序标记）。显然它假设既然你指定了LE，BOM 不是必需的。

UTF-16告诉它生成 UTF-16 文本（按照本地计算机的字节顺序）with a BOM.

如果你使用的是小端机器，我没有办法告诉你iconv生成带有 BOM 的大端 UTF-16，但我可能只是遗漏了一些东西。

我发现file命令无法识别没有 BOM 的 UTF-16 文本，您的编辑器也可能无法识别。但如果你跑iconv -f UTF-16LE -t UTF_8 b-16 strings，您应该获得原始文件的有效 UTF-8 版本。

尝试跑步od -c查看文件的实际内容。

UPDATE :

看起来您在一台大端机器上（x86 是小端），并且您正在尝试生成带有 BOM 的小端 UTF-16 文件。那是对的吗？据我所知，iconv不会直接这样做。但这应该有效：

( printf "\xff\xfe" ; iconv -f utf-8 -t utf-16le UTF-8-FILE ) > UTF-16-FILE

该人的行为printf might取决于您的区域设置；我有LANG=en_US.UTF-8.

（谁能提出一个更优雅的解决方案？）

另一个解决方法，if你知道产生的输出的字节顺序-t utf-16:

iconv -f utf-8 -t utf-16 UTF-8-FILE | dd conv=swab 2>/dev/null