立即注册  找回密码
 立即注册
CeraNetworksBGVM服务器主机交流会员请立即修改密码Sharktech防护
查看: 216|回复: 9

我的网站是做给蜘蛛看的

[复制链接]

我的网站是做给蜘蛛看的

[复制链接]

483

主题

1396

回帖

6555

积分

论坛元老

积分
6555
gdtv

483

主题

1396

回帖

6555

积分

论坛元老

积分
6555
2009-8-15 14:19:35 | 显示全部楼层 |阅读模式
来访者全部是蜘蛛,没有一个真人
回复

使用道具 举报

69

主题

699

回帖

2674

积分

金牌会员

积分
2674
zyypp

69

主题

699

回帖

2674

积分

金牌会员

积分
2674
2009-8-15 15:07:28 | 显示全部楼层
呵呵 我在查看 web 日志时 得到的IP 几乎也都是些 爬虫 不过 我只放了一个页面 嘿嘿
回复

使用道具 举报

966

主题

5383

回帖

2万

积分

论坛元老

积分
21401
cpuer

966

主题

5383

回帖

2万

积分

论坛元老

积分
21401
2009-8-16 20:01:58 | 显示全部楼层
Google和sougou的蜘蛛是最会爬的,小心服务器被爬挂。
回复

使用道具 举报

10

主题

69

回帖

204

积分

中级会员

积分
204
fanslive

10

主题

69

回帖

204

积分

中级会员

积分
204
2009-8-18 08:45:24 | 显示全部楼层
我的蜘蛛访问通常一天要耗费流量至少5G。
我一个月到底流量能用光,蜘蛛太强大了!

回复

使用道具 举报

46

主题

432

回帖

1577

积分

金牌会员

积分
1577
phpwinder

46

主题

432

回帖

1577

积分

金牌会员

积分
1577
2009-8-18 09:58:29 | 显示全部楼层
是啊,我的HM主机都被爬死过。
回复

使用道具 举报

966

主题

5383

回帖

2万

积分

论坛元老

积分
21401
cpuer

966

主题

5383

回帖

2万

积分

论坛元老

积分
21401
2009-8-18 10:24:45 | 显示全部楼层
有些搜索引擎蜘蛛很厉害,但是不来流量的话可以屏蔽掉。
回复

使用道具 举报

966

主题

5383

回帖

2万

积分

论坛元老

积分
21401
cpuer

966

主题

5383

回帖

2万

积分

论坛元老

积分
21401
2009-8-18 10:25:06 | 显示全部楼层
原帖由 fanslive 于 2009-8-18 08:45 发表


我的蜘蛛访问通常一天要耗费流量至少5G。
我一个月到底流量能用光,蜘蛛太强大了!



我知道你是强人

回复

使用道具 举报

149

主题

648

回帖

2758

积分

金牌会员

积分
2758
微笑着吃饭

149

主题

648

回帖

2758

积分

金牌会员

积分
2758
2009-8-21 20:10:04 | 显示全部楼层
robot.txt


回复

使用道具 举报

966

主题

5383

回帖

2万

积分

论坛元老

积分
21401
cpuer

966

主题

5383

回帖

2万

积分

论坛元老

积分
21401
2009-8-22 11:33:35 | 显示全部楼层
还得靠搜索引擎来些流量呢

回复

使用道具 举报

69

主题

699

回帖

2674

积分

金牌会员

积分
2674
zyypp

69

主题

699

回帖

2674

积分

金牌会员

积分
2674
2009-8-22 11:43:58 | 显示全部楼层
有些 爬虫 不守规矩 无视robot.txt的
对付这些不守规矩爬虫 最好的方法就是 屏蔽他 嘿嘿
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|小黑屋|HS2V主机综合交流论坛

GMT+8, 2024-12-26 03:52 , Processed in 0.025738 second(s), 3 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表