robots.txt协议写法含义运用

robots.txt协议写法含义运用

拒绝百度蜘蛛爬行所有页面：

User-agent: Baiduspider

Disallow: /

User-agent: baiduspider

Disallow: /

自定义设置拒绝某哥搜索引擎：

User-agent: BadBot

Disallow: /

拦截除Googlebot以外的所有漫游器

User-agent:

Disallow: /

User-agent: Googlebot

Disallow:

拦截子目录中某个页面之外的其他所有页面

User-agent: Googlebot

Allow: /6789w.net/myfile.html

Disallow: /6789w.net/

拦截对所有以 private 开头的子目录的访问

User-Agent: Googlebot

Disallow: /private*/www.6789w.net

确保 Googlebot 不会抓取重复的网页

User-agent: *

Allow: /*?$

Disallow: /*?

Disallow: / *?