HttpRequest 和 XMLHttpRequest 之间的真正区别

2024-05-25

阅读前注意事项

这不是重复的xmlhttprequest 和 httprequest 之间的区别是什么 https://stackoverflow.com/questions/8499062/what-are-differences-between-xmlhttprequest-and-httprequest作为信息，我尝试过this lib https://github.com/jbeuckm/node-XMLHttpRequest/blob/master/lib/XMLHttpRequest.js没有成功，因为它复制了 XMLHttpRequest 的结构，但实际上并不像它那样。

我想知道之间真正的网络区别是什么HttpRequest从节点和XMLHttpRequest从浏览器。

如果我只看 chrome 开发工具中的 XMLHttpRequest，我看不到任何X-Requested-with请求中的标头。

此外，CloudFlare 的 WAF 背后还有一个带有自定义规则的在线服务。如果我提出请求XMLHttpRequest，它只是有效，但我这样做https.requestCF 防火墙失败。

我需要这样做HttpRequest所以我可以配置代理。

两者之间的网络差异是什么，如何从 HttpRequest 模拟 XMLHttpRequest ？这可能吗？我观察了铬的来源here https://chromium.googlesource.com/chromium/blink.git/+/99b8c9800ac123eddc3e199088d22569c5294b22/Source/core/xml/XMLHttpRequest.cpp但找不到任何有趣的东西。

也许它与 IO 层不同？ TCP握手？

需要建议。谢谢

Edit

这是 XMLHttpRequest （工作）

let req = new XMLHttpRequest();
req.open("post", "https://haapi.ankama.com/json/Ankama/v2/Api/CreateApiKey", true);
req.withCredentials = true;
req.setRequestHeader('Accept', 'application/json');
req.setRequestHeader('Content-Type', 'text/plain;charset=UTF-8');
req.setRequestHeader('Accept-Encoding', 'gzip, deflate, br');
req.onload = function() {
    console.log(req.response)
};
req.send("login=smallladybug949&password=Tl9HDKWjusopMWy&long_life_token=true");

与cURL相同（不通过CF的防火墙）

curl 'URL' \
-H 'origin: null' \
-H 'accept-encoding: gzip, deflate, br' \
-H 'user-agent: Mozilla/5.0 (Linux; Android 6.0.1; Z988 Build/MMB29M) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/69.0.3497.100 Mobile Safari/537.36' \
-H 'content-type: text/plain;charset=UTF-8' \
-H 'accept: application/json' \
-H 'authority: URL.com' \
--data-binary 'login=123&password=def' \
--compressed

这是HttpRequest（不通过CF的防火墙）

let opts = url.parse(URL);
opts.method = post;
opts.headers = {
    'Accept': 'application/json',
    'Content-Type': 'text/plain;charset=UTF-8',
    'Accept-Encoding': 'gzip, deflate, br',
    'User-Agent': 'Mozilla/5.0 (Linux; Android 8.0.0; SM-G960F Build/R16NW) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.137 Mobile Safari/537.36'
}
let req = https.request(opts, function (res) {
    res.setEncoding('utf8');
    res.body = "";
    res.on('data', (chunk) => {
      res.body += chunk;
    });
    res.on('end', (chunk) => {
      try {
        res.body = JSON.parse(res.body);
      } catch (e) {
        return reject(res.body); // error, http 403 / 1020 error from CF (custom FW rule)
      }
      console.log(res.body); // we'll not reach this
    });
});
req.on('error', e => {
  console.error('error', e);
});
req.write("login=abc&password=def");
req.end();

Edit 2

经过多次测试，curl 命令可以工作，XHR 也可以工作，但是使用 Postman 或 HttpRequest 时，它会失败。这是邮递员与卷曲的视频：https://streamable.com/81s57 https://streamable.com/81s57视频中的curl命令是这样的：

curl -X POST \
  https://haapi.ankama.com/json/Ankama/v2/Api/CreateApiKey \
  -H 'accept: application/json' \
  -H 'accept-encoding: gzip, deflate, br' \
  -H 'accept-language: fr' \
  -H 'authority: haapi.ankama.com' \
  -H 'content-type: text/plain;charset=UTF-8' \
  -H 'origin: null' \
  -H 'user-agent: Mozilla/5.0 (Linux; Android 8.0.0; SM-G960F Build/R16NW) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.137 Mobile Safari/537.36' \
  -d 'login=smallladybug949&password=Tl9HDKWjusopMWy&long_life_token=true'

（这是一个测试帐户，所以我不需要它，您可以用它进行测试）。您可以添加--compressed标记curl请求以将其解压缩或通过管道传输到gunzip.

编辑3（最终）

我发现这是由于滥用（CF）TLS 协议造成的。通过降级使用 OpenSSL/1.1.0f 的curl，调用就可以正常工作。但从 OpenSSL/1.1.0g 开始，他们就不再这样做了。您可以阅读有关 OpenSSL 变更日志的更多信息here https://www.openssl.org/news/openssl-1.1.0-notes.html

正如我在评论中所讨论的，我可以重现：第一个“编辑”中的 XMLHttpRequest 示例有效（HTTP 状态 = 200），而其“复制为 cURL”版本则从 Cloudfare 返回 403。

Adding --cert-status https://ec.haxx.se/usingcurl-tls.html#ocsp-staplingtocurl 让它对我有用，所以 Cloudfare 在决定拒绝请求时似乎会分析 TLS 级别的通信。

第一次编辑时的curl 命令与我使用“Copy as cURL”时得到的版本有一些其他差异：

curl 'URL'代替https://haapi.ankama.com/json/Ankama/v2/Api/CreateApiKey显然失败了，请不要让重现结果变得更加困难。
-H 'origin: null' vs -H 'Origin: https://localhost:4443' -H 'Referer: https://localhost:4443/test_http.html'- 这没有什么区别。
我有一些额外的标题-H 'DNT: 1' -H 'Connection: keep-alive' -H 'Cookie: __cfduid=dcf1b80eef19562054c9b64f79139509e1566138746'这也没有什么区别。
Varying -H 'user-agent:- 也不影响 Cloudfare
你还有一个额外的-H 'authority: URL.com'（用占位符代替真实域），这也没有什么区别。
POST数据是否正确--data-binary 'login=123&password=def'只影响API结果；不影响403。
失踪者-H 'Accept-Language:header 导致 Cloudflare 出现 403。

所以你可以尝试添加缺少的Accept-Language到 Node 版本看看是否有帮助。

我的 Node 版本无法发送Extension: status_request在 TLS Client Hello 中（这似乎是有或没有的卷曲调用之间的区别--cert-status），我不知道你如何启用它。此时，如果可能的话，我会尝试联系支持人员，或者回退到从节点调用curl。

附：在调试它时，我尝试比较curl与浏览器的Wireshark捕获（节点不支持SSLKEYLOGFILE, 强迫你跳过障碍，所以我什至没有尝试检查它的捕获看起来如何 https://github.com/nodejs/node/issues/2363#issuecomment-495929228）。存在如此多的细微差异，尝试对 Cloudflare 使用的规则进行逆向工程将非常耗时。--cert-status是一个幸运的猜测。

The SSL Client Hello across Firefox/curl/node are very different: Firefox curl node11

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)