发现网站日志里面每天有大量这个ua在访问

流星i · 2024-4-16 14:10:53

本帖最后由流星i 于 2024-4-16 14:23 编辑

如题，查了一下ua，发现是亚马逊的蜘蛛，不同ip但同UA每天访问至少2000+次，随机访问网站页面，已经访问几个月了。

所以想请教mjj们这个ua蜘蛛到底是有什么作用？想直接封禁这些ip，网上只查到说是帮助亚马逊商家分析商品，不应该是分析亚马逊自己网站里面吗，怎么分析和商品毫不相干的网站？

UA如下：
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)

icon · 2024-4-16 14:15:55

傻逼炸了的amazon的ai的，我是直接封它ip了

四叶草 · 2024-4-16 14:12:28

盲猜。训练AI

流星i · 2024-4-16 14:14:57

"

亚马逊也在训练ai？

流星i · 2024-4-16 14:12:00

icon 发表于 2024-4-16 14:15

傻逼炸了的amazon的ai的，我是直接封它ip了
真的是在训练ai吗，ip太多了，好像每天都不一样，想禁ua了

icon · 2024-4-16 14:24:46

流星i 发表于 2024-4-16 14:24

真的是在训练ai吗，ip太多了，好像每天都不一样，想禁ua了
都是这么说的，看上去也是，和电商无关的网站它一直在爬
ip不算太多吧，我封几个就可以了啊，当时它爬我的99很疯狂。另外，robots.txt应该也有用

大哥我是MJJ呀 · 2024-4-16 14:15:00

我已经ban了

misakafa · 2024-4-16 14:27:36

最近才有的，我也把这个Amazonbot的ua禁用了

		立即注册	自动登录	找回密码
密码			立即注册