设为首页收藏本站

HS2V主机综合交流论坛»论坛 › 技术交流分享 › Web技术 › 百度爬虫一天来十万次是好还是坏?

会员请立即修改密码

Sharktech防护

返回列表发新帖

查看: 244|回复: 9

百度爬虫一天来十万次是好还是坏?

百度爬虫一天来十万次是好还是坏?

747 主题	824 回帖	6403 积分

积分: 6403

发消息

747 主题	824 回帖	6403 积分

积分: 6403

2018-4-1 19:34:14 | 显示全部楼层 |阅读模式

流量没看增加，尽是爬虫来访。数据库经常被爬挂了。要不要限制频率呢？

回复

使用道具举报

22 主题	125 回帖	488 积分

积分: 488

发消息

22 主题	125 回帖	488 积分

积分: 488

2018-4-1 19:36:45 | 显示全部楼层

看看是不是真蜘蛛

百度的真蜘蛛，80%都是集中爬网站20%的页面

回复

使用道具举报

0 主题	1 回帖	6 积分

积分: 6

发消息

sora

0 主题	1 回帖	6 积分

积分: 6

2018-4-1 19:36:00 | 显示全部楼层

撸主. 换友链么

回复

使用道具举报

239 主题	1457 回帖	5524 积分

积分: 5524

发消息

239 主题	1457 回帖	5524 积分

积分: 5524

2018-4-1 19:46:22 | 显示全部楼层

也可能是用的百度蜘蛛协议头的采集器哟！

回复

使用道具举报

101 主题	1679 回帖	5261 积分

积分: 5261

发消息

101 主题	1679 回帖	5261 积分

积分: 5261

2018-4-1 19:53:54 | 显示全部楼层

去百度站长后台看看爬取数据

回复

使用道具举报

10 主题	224 回帖	698 积分

积分: 698

发消息

10 主题	224 回帖	698 积分

积分: 698

2018-4-1 19:55:56 | 显示全部楼层

有多少数据啊，这么给力..

回复

使用道具举报

4 主题	80 回帖	232 积分

积分: 232

发消息

4 主题	80 回帖	232 积分

积分: 232

2018-4-1 19:57:55 | 显示全部楼层

三月份爬虫( ๑ŏ ﹏ ŏ๑ )

回复

使用道具举报

0 主题	97 回帖	204 积分

积分: 204

发消息

0 主题	97 回帖	204 积分

积分: 204

2018-4-1 20:05:17 | 显示全部楼层

这样的明显不正常，不是采集就是测试采集。

回复

使用道具举报

6 主题	165 回帖	480 积分

积分: 480

发消息

6 主题	165 回帖	480 积分

积分: 480

2018-4-1 20:15:44 | 显示全部楼层

感觉不是正常的采集

回复

使用道具举报

0 主题	51 回帖	140 积分

积分: 140

发消息

0 主题	51 回帖	140 积分

积分: 140

2018-4-1 20:51:25 | 显示全部楼层

感情是一群人在采集

回复

使用道具举报

返回列表发新帖

Archiver|小黑屋|HS2V主机综合交流论坛

GMT+8, 2025-4-22 01:38 , Processed in 0.023763 second(s), 3 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表