网站怎样才能不被搜索引擎收录

yumijie

用robot.txt最好的结果也会被收录首页,想禁止一切搜索引擎收录,连首页也不能,怎么才能做到?

搭建暗网的话普通浏览器又不能访问,有什么好方法,请高手能赐教!!!

shazhumaiyou

                 if ($http_user_agent ~* (baiduspider|soso|sogou|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
         return 403;
         }

萌䒤萌

不用域名啊，ip 默认网站弄成404，用本地hosts访问

yumijie

萌䒤萌 发表于 2017-7-19 17:54

不用域名啊，ip 默认网站弄成404，用本地hosts访问
能具体点吗?貌似这样也会收录首页吧

萌䒤萌

yumijie 发表于 2017-7-19 17:57

能具体点吗?貌似这样也会收录首页吧
比如用lnmp的话，默认打开Ip 是一个网站，这里不管，直接添加虚拟主机，域名可以随便弄，比如baidu.com
你本机上修改Hosts文件，把baidu.com 指向你的IP就可以访问，而别人不知道你的域名是什么，也不会去修改Hosts

zdszf

VPS搭建基于zeronet的网站，会不会被收录

萌䒤萌

zdszf 发表于 2017-7-19 18:14

VPS搭建基于zeronet的网站，会不会被收录
zeronet就无所谓搭建在哪了吧

hmy111

关注这个 马克一下

醉里耍大刀

nginx设置需要登录访问就可以了

oskey

屏蔽蜘蛛，截取蜘蛛转发出去。我瞎说的