立即注册  找回密码
 立即注册
CeraNetworksBGVM服务器主机交流会员请立即修改密码Sharktech防护
查看: 106|回复: 8

万能的hostloc,请赐予我答案吧!!

[复制链接]

万能的hostloc,请赐予我答案吧!!

[复制链接]

5

主题

9

回帖

37

积分

新手上路

积分
37
小伦

5

主题

9

回帖

37

积分

新手上路

积分
37
2011-7-29 13:53:37 | 显示全部楼层 |阅读模式
遇到一个很郁闷的问题,一个网站,GG收录很给力,基本是秒收,但是百度就是不收录,1年了,就收录了一个主页
但是他的爬虫24小时在我的网站上爬,光爬虫都走了1G的流量
是什么问题啊?
万能的hostloc,请给我答案吧!!
下面是爬虫记录
18 个机器人*        文件数        字节        最近参观日期
BaiDuSpider        71786+8         1.01 G字节        2011年 7 月 29日 13:36
Googlebot        10535+15        119.61 M字节        2011年 7 月 29日 13:36
回复

使用道具 举报

46

主题

887

回帖

3044

积分

论坛元老

积分
3044
geyunbing

46

主题

887

回帖

3044

积分

论坛元老

积分
3044
2011-7-29 13:55:47 | 显示全部楼层
小伦老湿,求学生mm
回复

使用道具 举报

11

主题

420

回帖

1461

积分

金牌会员

积分
1461
神马皆浮云

11

主题

420

回帖

1461

积分

金牌会员

积分
1461
2011-7-29 13:58:35 | 显示全部楼层
话说小伦老湿你这个爬虫记录肿么看的?还能看大小?
回复

使用道具 举报

11

主题

420

回帖

1461

积分

金牌会员

积分
1461
神马皆浮云

11

主题

420

回帖

1461

积分

金牌会员

积分
1461
2011-7-29 14:01:02 | 显示全部楼层
这个可以有!
回复

使用道具 举报

22

主题

69

回帖

240

积分

中级会员

积分
240
iller_K

22

主题

69

回帖

240

积分

中级会员

积分
240
2011-7-29 14:01:13 | 显示全部楼层
加上百度连接, 上书“度娘,我会给你高潮”
回复

使用道具 举报

5

主题

101

回帖

225

积分

中级会员

积分
225
samuel

5

主题

101

回帖

225

积分

中级会员

积分
225
2011-7-29 14:20:29 | 显示全部楼层
放网址出来才是啊
回复

使用道具 举报

103

主题

474

回帖

2174

积分

金牌会员

积分
2174
金关村村长

103

主题

474

回帖

2174

积分

金牌会员

积分
2174
2011-7-29 14:25:40 | 显示全部楼层
神啊,就没有人给个答案
回复

使用道具 举报

5

主题

9

回帖

37

积分

新手上路

积分
37
小伦 楼主

5

主题

9

回帖

37

积分

新手上路

积分
37
2011-7-29 20:59:09 | 显示全部楼层
去吸引度娘蜘蛛
回复

使用道具 举报

4

主题

89

回帖

226

积分

中级会员

积分
226
fhs

4

主题

89

回帖

226

积分

中级会员

积分
226
2011-7-29 21:09:39 | 显示全部楼层
蜘蛛天天爬啊,一个月爬1G多流量,就是不收录
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|小黑屋|HS2V主机综合交流论坛

GMT+8, 2024-12-19 10:56 , Processed in 0.024398 second(s), 4 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表