立即注册  找回密码
 立即注册
CeraNetworksBGVM服务器主机交流会员请立即修改密码Sharktech防护
查看: 31|回复: 2

Amazonbot蜘蛛不遵循robots协议爬的我服务器死机有办法禁么?

[复制链接]

Amazonbot蜘蛛不遵循robots协议爬的我服务器死机有办法禁么?

[复制链接]

4

主题

3

回帖

28

积分

新手上路

积分
28
xyf1234

4

主题

3

回帖

28

积分

新手上路

积分
28
2024-5-20 04:05:56 | 显示全部楼层 |阅读模式
自己的一个小站一天只有100多IP ,可是Amazonbot,每天爬取1W多次,robots.txx已经设置Disallow了。但是还是爬的服务器运行和cpu经常都是100%,然后就是死机。目前是搭建在搬瓦工1H1G的服务器上的,实在也不想换服务器了。看了下插件几乎都是收费的而且还不低。有啥办法禁止它么。






回复

使用道具 举报

2

主题

25

回帖

254

积分

中级会员

积分
254
qtip

2

主题

25

回帖

254

积分

中级会员

积分
254
2024-5-20 04:18:02 | 显示全部楼层
ua
回复

使用道具 举报

288

主题

5435

回帖

1万

积分

论坛元老

积分
16589
hxuf

288

主题

5435

回帖

1万

积分

论坛元老

积分
16589
2024-5-20 06:41:02 | 显示全部楼层
ua拉黑就是了。或者对ip段拉黑。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|小黑屋|HS2V主机综合交流论坛

GMT+8, 2024-12-19 01:45 , Processed in 0.017707 second(s), 4 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表