我正在尝试设置我的robots.txt,但我不确定正则表达式.
我有四种不同的页面,全部有三种不同的语言版本.我认为我可以使用正则表达式而不是列出每页3次.
nav.aspx
page.aspx / changelang(可能附加了一个查询字符串,例如“？toLang = fr”.)
mypage.aspx？id和login.aspx / logoff(= 12346？…等 – 每次不同)
！所有四种语言有三种不同的语言,例如：
www.example.com/es/nav.aspx
www.example.com/it/nav.aspx
www.example.com/fr/nav.aspx
现在,我的问题是：以下正则表达式是否正确？
User-Agent: * Disallow: /*nav\.aspx$ Disallow: /*page.aspx/changelang Disallow: /*mypage\.aspx?id Disallow: /*login\.aspx\/logoff
谢谢
robots.txt中不允许使用正则表达式,但Googlebot(以及其他一些机器人)可以理解一些简单的模式匹配：
原文链接：https://www.f2er.com/regex/356888.html你的robots.txt应如下所示：
User-agent: * Disallow: /*nav.aspx$ Disallow: /*page.aspx/changelang Disallow: /*mypage.aspx?id Disallow: /*login.aspx/logoff
用户代理指令对小写a有效.你不必逃避.或者`/’.
你可以在这里阅读更多相关信息：Block or remove pages using a robots.txt file
