如何在 C++17 中读取 UTF-16 文本文件

我对 C++ 很陌生。我想在 Visual Studio 2019 中读取 C++17 中的 UTF-16 文本文件。

我在互联网上尝试了几种方法（包括StackOverflow），但没有一个起作用，并且其中一些无法编译（我认为它们只支持较旧的编译器）。

我试图在不使用任何第三方库的情况下实现这一目标。

这会读取一个文本文件，但它在每个字母之间有一些奇怪的字符和空格。

// open file for reading
std::wifstream istrm(filename, std::ios::binary);
if (!istrm.is_open()) {
    std::cout << "failed to open " << filename << '\n';
}
else {
    std::wstring s;
    std::getline(istrm, s);
    std::wcout << s << std::endl;
}

然后我使用以下库找到了一些解决方案

#include <locale>
#include <codecvt>

// open file for reading
std::wifstream istrm(filename, std::ios::binary);
istrm.imbue(std::locale(istrm.getloc(), new std::codecvt_utf16<wchar_t, 0x10ffff, std::consume_header>));
if (!istrm.is_open()) {
    std::cout << "failed to open " << filename << '\n';
}
else {
    std::wstring s;
    std::getline(istrm, s);
    std::wcout << s << std::endl;
}

这次甚至没有编译，出现以下错误std::codecvt_utf16 line:

错误 C4996 'std::codecvt_utf16'：警告 STL4017：std::wbuffer_convert、std::wstring_convert 和标头（包含 std::codecvt_mode、std::codecvt_utf8、std::codecvt_utf16 和 std::codecvt_utf8_utf16）已弃用在 C++17 中。 （std::codecvt 类模板并未弃用。）C++ 标准不提供等效的未弃用功能；考虑使用 MultiByteToWideChar() 和 WideCharToMultiByte() 代替。您可以定义 _SILENCE_CXX17_CODECVT_HEADER_DEPRECATION_WARNING 或 _SILENCE_ALL_CXX17_DEPRECATION_WARNINGS 以确认您已收到此警告。

如果有人可以为此提供解决方案，我将不胜感激。

提前致谢。

首先，阅读相关问题，例如std::wstring 在 Windows 上支持 UTF-16 和 UTF-32 吗？ https://stackoverflow.com/questions/25938373/does-stdwstring-support-utf-16-and-utf-32-on-windows and 16 位 wchar_t 是否正式有效用于表示完整的 Unicode？ https://stackoverflow.com/questions/39548465/is-16-bit-wchar-t-formally-valid-for-representing-full-unicode.

如果您想要的只是将字符串作为 blob 读取/写入（您已经知道其编码为 UTF-16），而不执行任何转换或操作，并且您处于 Windows 上的 Visual Studio 2019 等环境中，wchar_t旨在保存 UTF-16 https://learn.microsoft.com/en-us/windows/desktop/learnwin32/working-with-strings，那么您可以使用 C++ 宽字符串和流。

现在，如果您需要执行转换、支持多种编码、在字符串内迭代（对于迭代的某些定义），或者一般来说任何不平凡的事情，如果您想留在 C++17 中，那么您现在就不走运了。 C++ 标准委员会已经成立了 Unicode 工作组，因此期待看到some未来几年这方面的改进。目前，您需要使用 Win32 函数，例如MultiByteToWideChar and WideCharToMultiByte，或外部库，例如 International Components for Unicode (ICU) 或 Boost 的 Locale。