用于在 Python 中将多字节字符转换为 7 位 ASCII 的 Python 库 [关闭]

是否有一个 python 库可以将多字节非 ASCII 字符转换为某种合理形式的 7 位可显示 ASCII。这是为了避免硬编码charmap如中给出的answer https://stackoverflow.com/a/38178064/257924 to 在 Python 中将多字节字符转换为 7 位 ASCII https://stackoverflow.com/questions/38176258/translating-multi-byte-characters-into-7-bit-ascii-in-python

编辑：我目前使用的是 Python 2.7.11 或更高版本，尚未使用 Python 3，但提供 Python 3 解决方案的答案将被考虑并发现有帮助。

原因是这样的：当我手动翻译时，我会错过一些：

我的脚本是：

#!/bin/bash
# -*- mode: python; -*-

import os
import re
import requests

url = "https://system76.com/laptops/kudu"

#
# Load the text from request as a true unicode string:
#
r = requests.get(url)
r.encoding = "UTF-8"
data = r.text  # ok, data is a true unicode string

# translate offending characters in unicode:

charmap = {
    0x2014: u'-',   # em dash
    0x201D: u'"',   # comma quotation mark, double
    # etc.
}
data = data.translate(charmap)
tdata = data.encode('ascii')

我得到的错误是：

./simple_wget
Traceback (most recent call last):
  File "./simple_wget.py", line 25, in <module>
    tdata = data.encode('ascii')
UnicodeEncodeError: 'ascii' codec can't encode character u'\u2013' in position 10166: ordinal not in range(128)

这将是一场永无休止的更新之战charmap对于新发现的角色。是否有一个Python库提供了这个charmap，这样我就不必以这种方式对其进行硬编码？

您可以考虑统一码数据 https://docs.python.org/2/library/unicodedata.html蟒蛇包。我认为您可能会感兴趣的方法之一是normalize（另请参阅以下给出的用法示例彼得贝网 https://www.peterbe.com/plog/unicode-to-ascii):

import unicodedata

foo = 'abcdéfg'
unicodedata.normalize(foo).encode('ascii','ignore')