立即注册  找回密码
 立即注册
CeraNetworksBGVM服务器主机交流会员请立即修改密码Sharktech防护
查看: 60|回复: 9

大佬们如何屏蔽完全谷歌蜘蛛

[复制链接]

大佬们如何屏蔽完全谷歌蜘蛛

[复制链接]

23

主题

45

回帖

203

积分

中级会员

积分
203
189902m

23

主题

45

回帖

203

积分

中级会员

积分
203
2022-1-11 17:26:32 | 显示全部楼层 |阅读模式
用VIR小鸡做了个小站,谷歌蜘蛛疯狂趴,负载状态全满,飘红,硬盘都日志被占满了,用了宝塔防火墙屏蔽IP,效果不好,我想完全屏蔽海外IP,但是套了CF,网站无法用了,大佬有什么方法,或都这方面文章参考一下
回复

使用道具 举报

76

主题

466

回帖

2170

积分

金牌会员

积分
2170
emzz

76

主题

466

回帖

2170

积分

金牌会员

积分
2170
2022-1-11 17:29:44 | 显示全部楼层
robot.txt
回复

使用道具 举报

23

主题

66

回帖

291

积分

中级会员

积分
291
Unique

23

主题

66

回帖

291

积分

中级会员

积分
291
2022-1-11 17:30:15 | 显示全部楼层
robots.txt
回复

使用道具 举报

153

主题

357

回帖

1431

积分

金牌会员

积分
1431
zxhtx

153

主题

357

回帖

1431

积分

金牌会员

积分
1431
2022-1-11 17:32:22 | 显示全部楼层
robots.txt
回复

使用道具 举报

34

主题

201

回帖

766

积分

高级会员

积分
766
围观者

34

主题

201

回帖

766

积分

高级会员

积分
766
2022-1-11 17:32:42 | 显示全部楼层
我用的304策略

链接只要抓取过一次,以后再访问这链接,直接返回304,不经php,不查询mysql,  在nginx层就返了,对性能和流量损耗微乎其微
回复

使用道具 举报

23

主题

45

回帖

203

积分

中级会员

积分
203
189902m 楼主

23

主题

45

回帖

203

积分

中级会员

积分
203
2022-1-11 17:35:06 | 显示全部楼层
回复

使用道具 举报

7

主题

135

回帖

429

积分

中级会员

积分
429
xvm

7

主题

135

回帖

429

积分

中级会员

积分
429
2022-1-11 17:29:00 | 显示全部楼层

围观者 发表于 2022-1-11 17:32

我用的304策略

链接只要抓取过一次,以后再访问这链接,直接返回304,不经php,不查询mysql,  在nginx层就 ...

老哥,能教教俺怎么设置吗?
天下苦Google久矣
回复

使用道具 举报

7

主题

135

回帖

429

积分

中级会员

积分
429
xvm

7

主题

135

回帖

429

积分

中级会员

积分
429
2022-1-11 17:36:35 | 显示全部楼层

围观者 发表于 2022-1-11 17:32

我用的304策略

链接只要抓取过一次,以后再访问这链接,直接返回304,不经php,不查询mysql,  在nginx层就 ...

搜成403了,304真的是好东西,谢大佬
回复

使用道具 举报

7

主题

1288

回帖

3161

积分

论坛元老

积分
3161
G.K.D

7

主题

1288

回帖

3161

积分

论坛元老

积分
3161
2022-1-11 17:32:00 | 显示全部楼层
套了 Cloudflare?在 Cloudflare 防火墙里添加个 UA 规则拒绝不就行啦。。。
回复

使用道具 举报

94

主题

1653

回帖

5464

积分

论坛元老

积分
5464
junhan

94

主题

1653

回帖

5464

积分

论坛元老

积分
5464
2022-1-11 17:38:55 | 显示全部楼层
套了CF的话,你CF后台防火墙添加,用户代理,包含 Google就可以了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|小黑屋|HS2V主机综合交流论坛

GMT+8, 2024-12-23 14:26 , Processed in 0.024097 second(s), 2 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表