bash - 删除所有 Unicode 空格并替换为普通空格

我有一个包含很多文本的文件，并且混合有特殊的space人物， 那些是统一码空间

我需要将它们全部替换为normal“空间”字符。

轻松使用 perl：

perl -CSDA -plE 's/\s/ /g' file

但正如 @mklement0 在评论中正确所说，它将匹配\t（选项卡）也是如此。如果这是问题，您可以使用

perl -CSDA -plE 's/[^\S\t]/ /g'

Demo:

X            　X

上述内容包含：

U+00058 X LATIN CAPITAL LETTER X
U+01680   OGHAM SPACE MARK
U+02002   EN SPACE
U+02003   EM SPACE
U+02004   THREE-PER-EM SPACE
U+02005   FOUR-PER-EM SPACE
U+02006   SIX-PER-EM SPACE
U+02007   FIGURE SPACE
U+02008   PUNCTUATION SPACE
U+02009   THIN SPACE
U+0200A   HAIR SPACE
U+0202F   NARROW NO-BREAK SPACE
U+0205F   MEDIUM MATHEMATICAL SPACE
U+03000 　 IDEOGRAPHIC SPACE
U+00058 X LATIN CAPITAL LETTER X

using:

perl -CSDA -plE 's/\s/_/g'  <<<"X            　X"

注意，对于替换为下划线的演示，打印

X_____________X

另外，可以使用纯 bash

LC_ALL=en_US.UTF-8 spaces=$(printf "%b" "\U00A0\U1680\U180E\U2000\U2001\U2002\U2003\U2004\U2005\U2006\U2007\U2008\U2009\U200A\U200B\U202F\U205F\U3000\UFEFF")

while read -r line; do
    echo "${line//[$spaces]/ }"
done

The LC_ALL=en_US.UTF-8仅当您的默认区域设置不是必需的时才需要UTF-8。 （如果你使用 utf8 文本，你应该拥有它）:) 演示：

str="X            　X"
echo "${str//[$spaces]/_}"

再次打印：

X_____________X

同样使用sed- 准备变量$spaces如上所述并使用：

sed "s/[$spaces]/ /g" file

Edit- 因为一些奇怪的复制/粘贴（或区域设置）问题：

xxd -ps <<<"$spaces"

shows

c2a0e19a80e1a08ee28080e28081e28082e28083e28084e28085e28086e2
8087e28088e28089e2808ae2808be280afe2819fe38080efbbbf0a

the md5摘要（两个不同的程序）

md5sum <<<"$spaces"
LC_ALL=C md5 <<<"$spaces"

打印相同的md5

35cf5e1d7a5f512031d18f3d2ec6612f  -
35cf5e1d7a5f512031d18f3d2ec6612f