立即注册  找回密码
 立即注册
CeraNetworksBGVM服务器主机交流会员请立即修改密码Sharktech防护
查看: 78|回复: 1

如何写好WordPress网站的robots.txt文件?

[复制链接]

如何写好WordPress网站的robots.txt文件?

[复制链接]

17

主题

8

回帖

195

积分

注册会员

积分
195
hardrock

17

主题

8

回帖

195

积分

注册会员

积分
195
2013-11-22 14:44:12 | 显示全部楼层 |阅读模式
robots.txt文件要放在网站根目录下,最基本的检查方法就是用你的域名后面直接跟上robots.txt访问,如果能访问,那放置的位置就对了。

找到份代码,[ol]
  • User-agent: *
  • Disallow: /cgi-bin/
  • Disallow: /wp-admin/
  • Disallow: /wp-content/cache/
  • Disallow: /wp-content/languages/
  • Disallow: /wp-content/plugins/
  • Disallow: /wp-content/themes/
  • Disallow: /wp-content/upgrade/
  • Disallow: /wp-includes/
  • Disallow: /comments/
  • Disallow: /category/
  • Disallow: /tag/
  • Disallow: /page/
  • Disallow: /feed/
  • Disallow: /author/
  • Disallow: /trackback/
  • Disallow: /2010/
  • Disallow: /2011/
  • Disallow: /2012/
  • Disallow: /2013/
  • Disallow: /*/feed/
  • Disallow: /*/trackback/
  • Disallow: /*?
  • Disallow: /*/*?
  • Disallow: /*/*/*?
  • Disallow: /*.php$
  • Disallow: /*.js$
  • Disallow: /*.inc$
  • Disallow: /*.css$
  • # Google Image
  • User-agent: Googlebot-Image
  • Disallow:
  • Allow: /
  • # Google AdSense
  • User-agent: Mediapartners-Google*
  • Disallow:
  • Allow: /
  • # digg mirror
  • User-agent: duggmirror
  • Disallow: /
  • # Alexa archiver
  • User-agent: ia_archiver
  • Disallow: /
  • Sitemap:http://www.xxx.com/sitemap.xml
  • Sitemap:http://www.xxx.com/sitemap_baidu.xml[/ol]复制代码问题是这份代码适用于中文站用于百度,我是做英文站要适用于google, 以上代码怎样改成适用英文站的?
    对于代码 一窍不通...

    主要疑问是31----47行的代码,既然是英文站,这几行代码应该是允许的吧?中文站才禁止抓取?


  • 回复

    使用道具 举报

    41

    主题

    197

    回帖

    659

    积分

    高级会员

    积分
    659
    fake

    41

    主题

    197

    回帖

    659

    积分

    高级会员

    积分
    659
    2013-11-27 15:15:12 | 显示全部楼层
    不同的使用
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    Archiver|小黑屋|HS2V主机综合交流论坛

    GMT+8, 2024-11-24 14:06 , Processed in 0.017845 second(s), 4 queries , Gzip On, Redis On.

    Powered by Discuz! X3.5

    © 2001-2024 Discuz! Team.

    快速回复 返回顶部 返回列表