Java 中非 ASCII 字符的 URL 解码

我正在尝试用 Java 解码包含 % 编码字符的 URL

我尝试使用 java.net.URI 类来完成这项工作，但它并不总是正常工作。

String test = "https://fr.wikipedia.org/wiki/Fondation_Alliance_fran%C3%A7aise";
URI uri = new URI(test);
System.out.println(uri.getPath());

对于测试字符串“https://fr.wikipedia.org/wiki/Fondation_Alliance_fran%C3%A7aise https://fr.wikipedia.org/wiki/Fondation_Alliance_fran%C3%A7aise”，结果是正确的“/wiki/Fondation_Alliance_française”（%C3%A7 正确地替换为 ç）。

但对于其他一些测试字符串，例如“http://sv.wikipedia.org/wiki/Anv%E4ndare:Lsjbot/Statistik#Drosophilidae http://sv.wikipedia.org/wiki/Anv%E4ndare:Lsjbot/Statistik#Drosophilidae”，它给出了错误的结果“/wiki/Anv�ndare:Lsjbot/Statistik”（%E4 被替换为 � 而不是 ä）。

我使用 getRawPath() 和 URLDecoder 类做了一些测试。

System.out.println(URLDecoder.decode(uri.getRawPath(), "UTF8"));
System.out.println(URLDecoder.decode(uri.getRawPath(), "ISO-8859-1"));
System.out.println(URLDecoder.decode(uri.getRawPath(), "WINDOWS-1252"));

根据测试字符串，我使用不同的编码得到正确的结果：

• 对于 %C3%A7，我按预期得到了使用“UTF-8”编码的正确结果，使用“ISO-8859-1”或“WINDOWS-1252”编码得到了错误的结果
• 对于%E4，则相反。

对于这两个测试 URL，如果我将它们放入 Chrome 地址栏中，我会得到正确的页面。

如何在所有情况下正确解码 URL？ 谢谢你的帮助

====回答====

感谢下面麦克道尔回答中的建议，它现在似乎有效。这是我现在的代码：

private static void appendBytes(ByteArrayOutputStream buf, String data) throws UnsupportedEncodingException {
  byte[] b = data.getBytes("UTF8");
  buf.write(b, 0, b.length);
}

private static byte[] parseEncodedString(String segment) throws UnsupportedEncodingException {
  ByteArrayOutputStream buf = new ByteArrayOutputStream(segment.length());
  int last = 0;
  int index = 0;
  while (index < segment.length()) {
    if (segment.charAt(index) == '%') {
      appendBytes(buf, segment.substring(last, index));
      if ((index < segment.length() + 2) &&
          ("ABCDEFabcdef0123456789".indexOf(segment.charAt(index + 1)) >= 0) &&
          ("ABCDEFabcdef0123456789".indexOf(segment.charAt(index + 2)) >= 0)) {
        buf.write((byte) Integer.parseInt(segment.substring(index + 1, index + 3), 16));
        index += 3;
      } else if ((index < segment.length() + 1) &&
                 (segment.charAt(index + 1) == '%')) {
        buf.write((byte) '%');
        index += 2;
      } else {
        buf.write((byte) '%');
        index++;
      }
      last = index;
    } else {
      index++;
    }
  }
  appendBytes(buf, segment.substring(last));
  return buf.toByteArray();
}

private static String parseEncodedString(String segment, Charset... encodings) {
  if ((segment == null) || (segment.indexOf('%') < 0)) {
    return segment;
  }
  try {
    byte[] data = parseEncodedString(segment);
    for (Charset encoding : encodings) {
      try {
        if (encoding != null) {
          return encoding.newDecoder().
              onMalformedInput(CodingErrorAction.REPORT).
              decode(ByteBuffer.wrap(data)).toString();
        }
      } catch (CharacterCodingException e) {
        // Incorrect encoding, try next one
      }
    }
  } catch (UnsupportedEncodingException e) {
    // Nothing to do
  }
  return segment;
}

Anv%E4ndare

As 波波菲波 说 https://stackoverflow.com/a/21905895/304这不是有效的 UTF-8 编码序列。

您可以进行一些宽容的最佳猜测解码：

public static String parse(String segment, Charset... encodings) {
  byte[] data = parse(segment);
  for (Charset encoding : encodings) {
    try {
      return encoding.newDecoder()
          .onMalformedInput(CodingErrorAction.REPORT)
          .decode(ByteBuffer.wrap(data))
          .toString();
    } catch (CharacterCodingException notThisCharset_ignore) {}
  }
  return segment;
}

private static byte[] parse(String segment) {
  ByteArrayOutputStream buf = new ByteArrayOutputStream();
  Matcher matcher = Pattern.compile("%([A-Fa-f0-9][A-Fa-f0-9])")
                          .matcher(segment);
  int last = 0;
  while (matcher.find()) {
    appendAscii(buf, segment.substring(last, matcher.start()));
    byte hex = (byte) Integer.parseInt(matcher.group(1), 16);
    buf.write(hex);
    last = matcher.end();
  }
  appendAscii(buf, segment.substring(last));
  return buf.toByteArray();
}

private static void appendAscii(ByteArrayOutputStream buf, String data) {
  byte[] b = data.getBytes(StandardCharsets.US_ASCII);
  buf.write(b, 0, b.length);
}

此代码将成功解码给定的字符串：

for (String test : Arrays.asList("Fondation_Alliance_fran%C3%A7aise",
    "Anv%E4ndare")) {
  String result = parse(test, StandardCharsets.UTF_8,
      StandardCharsets.ISO_8859_1);
  System.out.println(result);
}

请注意，这并不是一个万无一失的系统，可以让您忽略正确的 URL 编码。它在这里起作用是因为v%E4n- 字节序列76 E4 6E- 不是有效的序列UTF-8 方案 http://en.wikipedia.org/wiki/Utf_8#Description并且解码器可以检测到这一点。

如果颠倒编码顺序，第一个字符串可以愉快地（但错误地）解码为 ISO-8859-1。

Note: HTTP 不关心 https://www.rfc-editor.org/rfc/rfc2616#section-3.2关于百分比编码，您可以编写一个接受的 Web 服务器http://foo/%%%%%作为有效的形式。这URI spec https://www.rfc-editor.org/rfc/rfc3986强制使用 UTF-8，但这是追溯性的。实际上由服务器来描述其 URI 的形式，如果您必须处理任意 URI，则需要了解这一遗留问题。

我写了一点有关 URL 和 Java 的更多信息请参见此处 http://illegalargumentexception.blogspot.co.uk/2009/12/java-safe-character-handling-and-url.html.