找回密码
 立即注册
CeraNetworksBGVM服务器主机交流会员请立即修改密码Sharktech防护
查看: 101|回复: 8

万能的hostloc,请赐予我答案吧!!

[复制链接]

5

主题

9

回帖

37

积分

新手上路

积分
37
发表于 2011-7-29 13:53:37 | 显示全部楼层 |阅读模式
遇到一个很郁闷的问题,一个网站,GG收录很给力,基本是秒收,但是百度就是不收录,1年了,就收录了一个主页
但是他的爬虫24小时在我的网站上爬,光爬虫都走了1G的流量
是什么问题啊?
万能的hostloc,请给我答案吧!!
下面是爬虫记录
18 个机器人*        文件数        字节        最近参观日期
BaiDuSpider        71786+8         1.01 G字节        2011年 7 月 29日 13:36
Googlebot        10535+15        119.61 M字节        2011年 7 月 29日 13:36
回复

使用道具 举报

46

主题

887

回帖

3044

积分

论坛元老

积分
3044
发表于 2011-7-29 13:55:47 | 显示全部楼层
小伦老湿,求学生mm
回复

使用道具 举报

11

主题

420

回帖

1461

积分

金牌会员

积分
1461
发表于 2011-7-29 13:58:35 | 显示全部楼层
话说小伦老湿你这个爬虫记录肿么看的?还能看大小?
回复

使用道具 举报

11

主题

420

回帖

1461

积分

金牌会员

积分
1461
发表于 2011-7-29 14:01:02 | 显示全部楼层
这个可以有!
回复

使用道具 举报

22

主题

69

回帖

240

积分

中级会员

积分
240
发表于 2011-7-29 14:01:13 | 显示全部楼层
加上百度连接, 上书“度娘,我会给你高潮”
回复

使用道具 举报

5

主题

101

回帖

225

积分

中级会员

积分
225
发表于 2011-7-29 14:20:29 | 显示全部楼层
放网址出来才是啊
回复

使用道具 举报

103

主题

474

回帖

2174

积分

金牌会员

积分
2174
发表于 2011-7-29 14:25:40 | 显示全部楼层
神啊,就没有人给个答案
回复

使用道具 举报

5

主题

9

回帖

37

积分

新手上路

积分
37
 楼主| 发表于 2011-7-29 20:59:09 | 显示全部楼层
去吸引度娘蜘蛛
回复

使用道具 举报

4

主题

89

回帖

226

积分

中级会员

积分
226
发表于 2011-7-29 21:09:39 | 显示全部楼层
蜘蛛天天爬啊,一个月爬1G多流量,就是不收录
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|HS2V主机综合交流论坛

GMT+8, 2024-11-15 14:44 , Processed in 0.072515 second(s), 4 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表