Python - 获取命令输出无法解码

我目前正在开发一个项目，我需要在 powershell 中运行命令，并且部分输出不是英语（特别是希伯来语）。

例如（问题的简化版本），如果我想获取桌面的内容，并且有一个希伯来语文件名：

import subprocess
command = "powershell.exe ls ~/Desktop"
print (subprocess.run(command.split(), stdout=subprocess.PIPE).stdout.decode())

此代码将引发以下错误（或具有不同字节值的类似错误）：

UnicodeDecodeError: 'utf8' codec can't decode byte 0x96 in position 19: invalid start byte

尝试在另一台计算机上运行它，这是输出：

?????

知道为什么会这样以及我该如何解决它吗？尝试了很多我在其他问题上看到的东西，但没有一个对我有用。

注：以下是Python 3+ 解决方案，但是有一个caveat:

• 随着first下面的解决方案还有第二个 - 但是only ifUTF-8 数据必须发送到 PowerShellstdin流 - 由于中的一个错误powershell.exe, the Windows PowerShell CLI, the 当前控制台窗口切换到光栅字体（可能具有不同的字体大小），这确实not支持大多数非扩展 ASCII 范围的 Unicode 字符。虽然视觉上很刺耳，这只是一个display（渲染）问题;数据处理正确；切换回支持 Unicode 的字体，例如Consolas显示正确的输出。

• 相比之下，pwsh.exe, the PowerShell（核心）(v6+) CLI does not表现出这个问题.

选项 A：配置both控制台and使用PythonUTF-8字符编码before执行你的脚本：

• 配置console使用 UTF-8：

  • From cmd.exe，通过将活动 OEM 代码页切换为65001（UTF-8）；请注意，此更改可能会影响会话中以后对控制台应用程序的所有调用，与 Python 无关，除非您恢复原始代码页（请参阅下面的选项 B）：

    chcp 65001
    

  • 来自 PowerShell：

    $OutputEncoding = [Console]::InputEncoding = [Console]::OutputEncoding = [System.Text.UTF8Encoding]::new()
    

• And configure Python (v3+) to use UTF-8 consistently:^[1]

  • 设置环境变量PYTHONUTF8 to 1, 可能坚持不懈地，通过注册表；去做吧ad hoc:

    • From cmd.exe:

      Set PYTHONUTF8=1
      

    • 来自 PowerShell：

      $env:PYTHONUTF8=1
      

  • 或者，对于单个调用 (v3.7+)：传递命令行选项-X utf8 to the python口译员（注：个案事宜）：

      python -X utf8 somefile.py ...
    

  • 两个选项均启用Python UTF-8 模式, which 将成为 Python 3.15 中的默认值.

现在，您的原始代码应该按原样工作（显示错误除外）。

Note:

• A 通过一次性配置步骤实现更简单的替代方案是将您的系统配置为使用UTF-8全系统，在这种情况下，OEM 和 ANSI 代码页都设置为65001。然而，这已经影响深远 - see 这个答案.

选项 B：（暂时）切换到 UTF-8 进行 PowerShell 调用：

import sys, ctypes, subprocess

# Switch Python's own encoding to UTF-8, if necessary
# This is the in-script equivalent of setting environment var. 
# PYTHONUTF8 to 1 *before* calling the script.
sys.stdin.reconfigure(encoding='utf-8'); sys.stdout.reconfigure(encoding='utf-8'); sys.stderr.reconfigure(encoding='utf-8')

# Save the current console output code page and switch to 65001 (UTF-8)
previousCp = windll.kernel32.GetConsoleOutputCP()
windll.kernel32.SetConsoleOutputCP(65001)

# PowerShell now emits UTF-8-encoded output; decode it as such.
command = "powershell.exe ls ~/Desktop"
print(subprocess.run(command, stdout=subprocess.PIPE).stdout.decode())

# Restore the previous output console code page.
windll.kernel32.SetConsoleOutputCP(previousCp)

Note:

• 由于仅设置output控制台页面，避免了 Windows PowerShell 显示错误.
• 如果你也想将输入发送到 PowerShellstdin stream，你必须set the input控制台页面也是如此, via windll.kernel32.SetConsoleCP(65001) (which 然后会再次出现显示错误).

^{[1] This isn't strictly necessary just for correctly decoding PowerShell's output, but matters if you want to pass that output on from Python: Python 3.x defaults to the active ANSI(!) code page for encoding non-console output, which means that Hebrew characters, for instance, cannot be represented in non-console output (e.g., when redirecting to a file), and cause the script to break.}