阻止搜索引擎抓取目录

我的网站有这样的 URL（最长）结构

http://www.example.com/xyz-pqr/abcd-efgh/123.html http://www.example.com/xyz-pqr/abcd-efgh/123.html

因此最多有 3 个目录级别，但由于 CMS 和其他问题，我的网站在搜索引擎中被索引为超过 3 个目录级别的 url，例如，

http://www.example.com/xyz-pqr/abcd-efgh/xyz-pqr/abcd-efgh/123.html
http://www.example.com/xyz-pqr/abcd-efgh/xyz-pqr/abcd-efgh/abcd-efgh/123.html

我想在robots.txt中编写代码，以便搜索引擎永远不会抓取超过3个目录级别。我该怎么做呢？提前致谢...

I'm not certain，但我认为以下应该有效：

User-agent: *
Disallow: /*/*/*/

因此，给定这两个 URL：

http://www.example.com/xyz-pqr/abcd-efgh/123.html
http://www.example.com/xyz-pqr/abcd-efgh/foo-bar/123.html

第一个将被接受，因为它只有两个目录段（/xyz-pqr-abcd-efgh).

第二个将被阻止，因为它具有三个目录段。

任何更长的内容也会被阻止。