你会在robots.txt禁止360搜索的蜘蛛吗

dstwhk · 发表于 2012-9-1 12:33:05

本帖最后由 dstwhk 于 2012-9-1 14:23 编辑

先不讨论搜索引擎的蜘蛛是否遵守robots.txt规则

sixu · 发表于 2012-9-5 15:26:35

封个毛，爬就爬被

大胡子 · 发表于 2012-9-5 15:11:22

当然不会因为三陆零正在给我流量

Ruclinux · 发表于 2012-9-2 08:29:27

我禁止所有蜘蛛，但是它遵守不遵守约定就不知道了.

ybs885 · 发表于 2012-9-2 08:26:55

sb才封

狂奔的蜗牛 · 发表于 2012-9-2 08:26:10

坚决禁止

主机风 · 发表于 2012-9-2 08:03:08

这是个流氓，你确定robots.txt有用？

信仰 · 发表于 2012-9-2 06:12:27

为什么要阻止垃圾百度算法一直在调整排名好多都K出百名了

满意沟通 · 发表于 2012-9-1 17:11:58

这家流氓回跟你遵守robots.txt吗

一堆的垃圾ua 狂爬你

guyusoftware · 发表于 2012-9-1 15:32:14

没必要吧？囧

萢沫 · 发表于 2012-9-1 15:31:19

dnspod 设置蜘蛛127.0.0.1

		自动登录	找回密码
密码			注册