semrush的蜘蛛不遵守规则咋办呢？

G奶 · 2020-8-10 15:29:50

在robots。txt里面写了不允许他爬，还在爬，都要把网站爬挂了。。。。。
怎么才能挡住他呢？？

iks · 2020-8-10 15:53:07

封 UA 也可以

ip4 · 2020-8-10 15:32:05

还有些蜘蛛封ip都不行。。

loukky · 2020-8-10 15:33:05

你的站是有多少内容........能给你爬挂

deepflow · 2020-8-10 15:46:14

IP拉黑

Ticifer · 2020-8-10 15:51:57

封IP，封http头

G奶 · 2020-8-10 15:53:36

loukky 发表于 2020-8-10 15:33

你的站是有多少内容........能给你爬挂
搞了个蜘蛛池，没想到是这个效果，百度不来他来了。。。。。。。。。。

liuyangge · 2020-8-10 15:33:00

直接封UA关键字就好了

wltc2005 · 2020-8-10 15:57:33

我早年都直接封ip段

G奶 · 2020-8-10 16:10:16

wltc2005 发表于 2020-8-10 16:10

我早年都直接封ip段
已经封了全美国哈哈，看看效果如何

		立即注册	自动登录	找回密码
密码			立即注册