立即注册  找回密码
 立即注册
CeraNetworksBGVM服务器主机交流会员请立即修改密码Sharktech防护
查看: 75|回复: 1

dzx2.5怎么解决重复抓取页面问题?

[复制链接]

dzx2.5怎么解决重复抓取页面问题?

[复制链接]

82

主题

88

回帖

460

积分

中级会员

积分
460
炮炮兵

82

主题

88

回帖

460

积分

中级会员

积分
460
2013-1-18 10:19:36 | 显示全部楼层 |阅读模式
我最近做了个论坛,发现论坛的地址被蜘蛛重复抓取,这样对论坛的优化是致命的,为解决这个问题,我查了好多资料,最后跪求了一个半分钟就能解决问题的方法,现在分享给大家。。。

通过修改robots.txt把这样的页面屏蔽掉,我们在根目录里找到robots.txt文件,在最后加上Disallow: /?*  这个句即可解决问题。。
其他关于这方面的知识,参考http://www.fwqlt.com
回复

使用道具 举报

138

主题

297

回帖

1400

积分

金牌会员

积分
1400
bg7758

138

主题

297

回帖

1400

积分

金牌会员

积分
1400
2013-1-18 11:59:52 | 显示全部楼层


  我昨天都想到这个思路了 居然没想到这一点
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|小黑屋|HS2V主机综合交流论坛

GMT+8, 2025-3-19 12:09 , Processed in 0.014905 second(s), 2 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表