zhongziso 发表于 2018-4-1 19:34:14

百度爬虫一天来十万次是好还是坏?

流量没看增加，尽是爬虫来访。数据库经常被爬挂了。要不要限制频率呢？

一灰 发表于 2018-4-1 19:36:45

看看是不是真蜘蛛

百度的真蜘蛛，80%都是集中爬网站20%的页面

sora 发表于 2018-4-1 19:36:00

撸主. 换友链么

kittyy487 发表于 2018-4-1 19:46:22

也可能是用的百度蜘蛛协议头的采集器哟！

欧阳逍遥 发表于 2018-4-1 19:53:54

去百度站长后台看看 爬取数据

beixiaoqian 发表于 2018-4-1 19:55:56

有多少数据啊，这么给力..

TITAN-LOC 发表于 2018-4-1 19:57:55

三月份爬虫( ๑ŏ ﹏ ŏ๑ )

flash 发表于 2018-4-1 20:05:17

这样的明显不正常，不是采集就是测试采集。
static/image/smiley/default/lol.gif

半半 发表于 2018-4-1 20:15:44

感觉不是正常的采集
static/image/smiley/default/lol.gif

xiaoxong740 发表于 2018-4-1 20:51:25


static/image/smiley/default/lol.gif
感情是一群人在采集
页: [1]
查看完整版本: 百度爬虫一天来十万次是好还是坏?