万能的hostloc，请赐予我答案吧！！

小伦 · 发表于 2011-7-29 13:53:37

遇到一个很郁闷的问题，一个网站，GG收录很给力，基本是秒收，但是百度就是不收录，1年了，就收录了一个主页
但是他的爬虫24小时在我的网站上爬，光爬虫都走了1G的流量
是什么问题啊？
万能的hostloc，请给我答案吧！！
下面是爬虫记录
18 个机器人*       文件数       字节       最近参观日期
BaiDuSpider       71786+8       1.01 G字节       2011年 7 月 29日 13:36
Googlebot       10535+15       119.61 M字节       2011年 7 月 29日 13:36

geyunbing · 发表于 2011-7-29 13:55:47

小伦老湿，求学生mm

神马皆浮云 · 发表于 2011-7-29 13:58:35

话说小伦老湿你这个爬虫记录肿么看的？还能看大小？

神马皆浮云 · 发表于 2011-7-29 14:01:02

这个可以有!

iller_K · 发表于 2011-7-29 14:01:13

加上百度连接，上书“度娘，我会给你高潮”

samuel · 发表于 2011-7-29 14:20:29

放网址出来才是啊

金关村村长 · 发表于 2011-7-29 14:25:40

神啊，就没有人给个答案

小伦 · 发表于 2011-7-29 20:59:09

去吸引度娘蜘蛛

fhs · 发表于 2011-7-29 21:09:39

蜘蛛天天爬啊，一个月爬1G多流量，就是不收录

		自动登录	找回密码
密码			立即注册