全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 774|回复: 4
打印 上一主题 下一主题

Amazonbot蜘蛛不遵循robots协议爬的我服务器死机有办法禁么?

[复制链接]
跳转到指定楼层
1#
发表于 2024-5-20 04:05:56 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
自己的一个小站一天只有100多IP ,可是Amazonbot,每天爬取1W多次,robots.txx已经设置Disallow了。但是还是爬的服务器运行和cpu经常都是100%,然后就是死机。目前是搭建在搬瓦工1H1G的服务器上的,实在也不想换服务器了。看了下插件几乎都是收费的而且还不低。有啥办法禁止它么。




3#
发表于 2024-5-20 06:41:02 来自手机 | 只看该作者
ua拉黑就是了。或者对ip段拉黑。
4#
发表于 2024-5-20 07:22:50 来自手机 | 只看该作者
是真蜘蛛还是假蜘蛛
5#
发表于 2024-5-25 22:35:14 | 只看该作者
if ($http_user_agent ~* "UA") {

    return 403;

}
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-6-12 06:30 , Processed in 0.067900 second(s), 8 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表