robots.txt 的正则表达式

2023-11-21

我正在尝试设置 robots.txt,但我不确定正则表达式。

我有四个不同的页面,全部以三种不同的语言提供。我想我可以使用正则表达式,而不是列出每个页面乘以 3。

nav.aspx
page.aspx/changelang(可能附加一个查询字符串,例如“?toLang=fr”。)
mypage.aspx?id and
登录.aspx/注销(=12346?...等等 - 每次都不同)

!所有四种语言都有 3 种不同的语言,例如:

www.example.com/es/nav.aspx
www.example.com/it/nav.aspx
www.example.com/fr/nav.aspx

现在,我的问题是:以下正则表达式正确吗?

User-Agent: *
Disallow: /*nav\.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage\.aspx?id
Disallow: /*login\.aspx\/logoff

Thanks


robots.txt 中不允许使用正则表达式,但 Googlebot(和其他一些机器人)可以理解一些简单的模式匹配:

您的 robots.txt 应如下所示:

User-agent: *
Disallow: /*nav.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage.aspx?id
Disallow: /*login.aspx/logoff

User-agent指令小写有效a。你不必逃避. or `/'.

您可以在这里阅读更多相关内容:使用 robots.txt 文件阻止或删除页面

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

robots.txt 的正则表达式 的相关文章

  • 子域的正则表达式

    有谁知道如何编写一个只允许的正则表达式a zA Z0 9 字母 数字 点和破折号 BUT永远不会以点或破折号开始或结束 我试过这个 a zA Z0 9 但是如果我写一些像 john 这样的东西 它就会起作用 但我不想这样做 因为不允许 子域
  • Powershell - 函数中的匹配 - 返回时获得额外的 true/false

    为什么我在这个函数的结果上得到提取 True 或 False 当我想要返回的只是邮政编码时 Function GetZipCodeFromKeyword String keyword pattern d 5 keyword match pa
  • 清理货币字符串的快速方法[重复]

    这个问题在这里已经有答案了 可能的重复 PHP 取消货币格式 https stackoverflow com questions 5139793 php unformat money 如何去掉所有不是数字或点的东西 替换 with 使用轻正
  • Java ReplaceAll() 正则表达式不起作用[重复]

    这个问题在这里已经有答案了 我试图用 替换所有特殊字符 例如 123 456 789 gt 123 465 798 我的正则表达式是 a zA Z0 9 在在线工具 中它工作得很好 但是在java中 s replaceAll a zA Z0
  • javascript 中的正则表达式和分隔符

    我不太擅长正则表达式 我需要一些帮助 但我被困住了 这就是我得到的 编辑 现在工作正常 看看 http jsfiddle net oscarj24 qrPHk 1 http jsfiddle net oscarj24 qrPHk 1 这就是
  • 字符串的正则表达式,必须至少包含 14 个字符,其中至少 2 个数字,至少 6 个字母

    我需要一个正则表达式来测试字符串的 最少 14 个字符 有效值为A Za z0 9 这 14 个字母中至少有 6 个字母 这 14 个数字中至少有 2 个 有没有一种方法可以将其包装在一个正则表达式中 目前我有一个 javascript 和
  • 使用正则表达式匹配非单词字符但不匹配笑脸

    我有一个 Java 程序 它应该从字符串中删除所有非字母字符 除非它们是笑脸 例如 或 或 P 与相反的搭配非常容易 a zA Z P但我不知道如何否定这个表达式 由于我使用的是 String replaceAll 函数 因此它必须采用否定
  • Java用逗号或点和两个小数值验证价格[关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 验证必须用点或逗号表示价格值且最多具有两位小数值的字符串的最佳方法和解决方案是什么 RegExp java text DecimalFor
  • 正则表达式匹配不可约分数

    我怎样才能匹配不可约分数 http en wikipedia org wiki Irreducible fraction用正则表达式 例如 23 25 3 4 5 2 100 101 等 首先 我不知道正则表达式中的gcd算法实现 Upda
  • Boost 正则表达式:获取命名组

    如何使用 Boost 正则表达式获取与模式匹配对应的组名称 以下将输出与给定模式匹配的表达式 但是如何获取对应的命名组呢 boost regex pattern
  • 需要正则表达式。仅匹配数字和空格的固定长度字段

    我正在尝试获得注册 表达式匹配正好 11 位数字或 0 到 10 位数字 并用空格填充到 11 个字符 x20 Match 12345678901 123 Don t Match 5678901 123 78901 123 789 表达方式
  • python 文件中的单词分析和评分

    我正在对一个句子进行逐字分析 例如 嘿那里 这是一部很棒的电影 我有很多像上面这样的句子 我有一个巨大的数据集文件 如下所示 我必须快速查找该单词是否存在 如果是 则进行分析并存储在字典中 例如从单词的文件中获取分数 句子最后一个单词的分数
  • AWK 中多行的匹配正则表达式。 && 操作员?

    我不确定 运算符在正则表达式中是否有效 我想做的是匹配一行 使其以数字开头并具有字母 a 下一行以数字开头并具有字母 b 并且下一行 字母 c 该 abc 序列将用作开始读取文件的唯一标识符 这就是我在 awk 中想要的东西 0 9 a n
  • 在 C# 中使用正则表达式重复模式

    我有一串话 词黑暗王辉光我们结束你好再见低翼 我需要找到第一个单词的最后一个字母与以下单词的第一个字母匹配的单词 例如 worD Dark 我写了一个正则表达式 b w w W 1 w b 目前它成功找到连续 2 个单词 Regex Mat
  • PHP中用逗号分解复杂字符串

    我需要分割一个包含逗号的字符串 我已经找到了类似字符串的东西 str getcsv A B with a comma eh C 但我的字符串是这样的 例如值没有包含字符 A B one two C 我需要分解它并获得 array 3 0 g
  • 正则表达式引擎如何解析具有递归子模式的正则表达式?

    此正则表达式匹配回文 1 2 我无法理解它是如何工作的 递归何时结束 以及正则表达式何时从递归子模式中断并转到 part Thanks 编辑 抱歉我没有解释 2 and 1 1 指第一个子模式 对其自身 2 反向引用第二个子模式的匹配 即
  • 如何从 Python 列表中删除日期

    我有一个标记化文本列表 list of words 看起来像这样 list of words 08 20 2014 10 04 27 pm complet vendor per mfg recommend 08 20 2014 10 04
  • 如何使用斯坦福TokensRegex?

    我正在尝试使用斯坦福大学TokensRegex 但是 我在匹配器行中遇到错误 请参阅注释 它说 请尽力帮助我 下面是我的代码 String file A store has many branches A manager may manag
  • 至少 6 个字符正则表达式 [关闭]

    很难说出这里问的是什么 这个问题是含糊的 模糊的 不完整的 过于宽泛的或修辞性的 无法以目前的形式得到合理的回答 如需帮助澄清此问题以便重新打开 访问帮助中心 help reopen questions 我正在寻找至少检查 6 个字符的正则
  • 正则表达式接受 4 条规则中的 3 条

    我似乎无法让正则表达式正确满足以下要求 长度在 8 到 20 之间的字符串 必须包含至少 1 个大写字母字符 至少 1 个小写字母字符 以及至少 1 个数字或至少 1 个特殊字符字符 或两者 假设特殊字符仅限于包括 我最初是这样写的 A Z

随机推荐