怎样禁止所有搜索引擎收录所有页面

会翻车吗 · 发表于 2019-4-1 18:31:30

robots.txt应该怎么写，求教~~~

小混混 · 发表于 2019-4-1 18:35:56

User-agent:*　　Disallow:/*

学到了么 · 发表于 2019-4-1 18:31:54

**********************

robot · 发表于 2019-4-1 18:37:41

拦截所有的机器人：

User-agent: *
Disallow: /

无视robots.txt的爬虫例外

hxuf · 发表于 2019-4-1 18:39:45

禁止不了 Nginx里阻止bot访问即可。

虚心学习 · 发表于 2019-4-1 19:23:41

提示: 作者被禁止或删除内容自动屏蔽

baymin · 发表于 2019-4-1 19:49:49

站长工具

		自动登录	找回密码
密码			注册

[Windows VPS] 怎样禁止所有搜索引擎收录所有页面