cloudflare的五秒盾，影响蜘蛛抓取和收录吗

围观者 · 2018-2-27 21:16:30

如果网站不想被收录，开着这个五秒盾，可以防止来蜘蛛抓取吗

这样开着，能保证蜘蛛抓取不到内容吗？
因为我听说cloudflare对谷歌和几家大的搜索引擎，有特殊通道，不受五秒盾影响

安之若素 · 2018-2-27 21:17:32

Robots 不行吗，

hxuf · 2018-2-27 21:17:04

应该都没有影响只是会影响用户体验

hellfires · 2018-2-27 21:18:27

3楼说得对

raingoc · 2018-2-27 21:25:07

3楼说的这么好为什么不采纳呢

sskdgu · 2018-2-27 21:27:31

好像受影响的，爬不到了

冻猫 · 2018-2-27 21:28:04

robots.txt
User-agent: *
Disallow: /

wxchello · 2018-2-27 21:57:52

想要不想收录很简单，用个便宜的非主流域名后缀加robots，robots防止谷歌收录，便宜非主流域名后缀防止国内搜索引擎收录

		立即注册	自动登录	找回密码
密码			立即注册