全球主机交流论坛

标题: 你会在robots.txt禁止360搜索的蜘蛛吗 [打印本页]

作者: dstwhk 时间: 2012-9-1 12:33
标题: 你会在robots.txt禁止360搜索的蜘蛛吗
本帖最后由 dstwhk 于 2012-9-1 14:23 编辑

先不讨论搜索引擎的蜘蛛是否遵守robots.txt规则

作者: 苁林老鬼 时间: 2012-9-1 12:37

360 不鸟这个啊鸟的话直接屏蔽掉

作者: 用户名 时间: 2012-9-1 12:37
MJJ 通道

作者: 老白 时间: 2012-9-1 12:38
提示: 作者被禁止或删除内容自动屏蔽

作者: 韬韬 时间: 2012-9-1 12:40
流量为王

作者: lovettww 时间: 2012-9-1 12:46
你觉得360会鸟这个文件吗？

作者: z79254 时间: 2012-9-1 12:47
不会！

作者: 完美 时间: 2012-9-1 13:09
360估计是直接无视。。。

作者: 小陈 时间: 2012-9-1 13:15
它如果真要抓你，这文件还能有效？

作者: 哎呀 时间: 2012-9-1 13:19

表示每天从360来的流量超过谷歌 SOSO 搜狗为什么要封 LZ 不是认真做站的

作者: zt1993 时间: 2012-9-1 13:28
360绝对不鸟robots.txt
不行你试试。。
nhce.njut.edu.cn静止所有robots，你用360试试。再看看百度谷歌。。

作者: zt1993 时间: 2012-9-1 13:29
不仅不鸟。。还照快照。。。

作者: Kokgog 时间: 2012-9-1 13:34
robots是蜘蛛考虑的事.......360自己的那部分靠的是360浏览器用户上传的数据...........

作者: 单手摘月 时间: 2012-9-1 14:51
提示: 作者被禁止或删除内容自动屏蔽

作者: winder 时间: 2012-9-1 15:03
为什么要禁止呢??

作者: star826 时间: 2012-9-1 15:15
提示: 作者被禁止或删除内容自动屏蔽

作者: 萢沫 时间: 2012-9-1 15:31
dnspod 设置蜘蛛127.0.0.1

作者: guyusoftware 时间: 2012-9-1 15:32
没必要吧？囧

作者: 满意沟通 时间: 2012-9-1 17:11
这家流氓回跟你遵守robots.txt吗

一堆的垃圾ua 狂爬你

作者: 信仰 时间: 2012-9-2 06:12
为什么要阻止垃圾百度算法一直在调整排名好多都K出百名了

作者: 主机风 时间: 2012-9-2 08:03
这是个流氓，你确定robots.txt有用？

作者: 狂奔的蜗牛 时间: 2012-9-2 08:26
坚决禁止

作者: ybs885 时间: 2012-9-2 08:26
sb才封

作者: Ruclinux 时间: 2012-9-2 08:29
我禁止所有蜘蛛，但是它遵守不遵守约定就不知道了.

作者: 大胡子 时间: 2012-9-5 15:11
当然不会因为三陆零正在给我流量

作者: sixu 时间: 2012-9-5 15:26
封个毛，爬就爬被

欢迎光临全球主机交流论坛 (https://www.91ai.net/)