谷歌蜘蛛爬取太频繁

沉默的鱼 · 发表于 2021-10-30 22:41:55

谷歌蜘蛛爬取太频繁

怎么屏蔽

宝塔nginx伪静态规则

蝙蝠侠 · 发表于 2021-10-30 22:51:49

if ($http_user_agent ~* (google)){ return 403; }

加到NGINX配置文件里边

gr58046576 · 发表于 2021-10-30 22:43:22

屏蔽干什么？

沉默的鱼 · 发表于 2021-10-30 22:48:29

gr58046576 发表于 2021-10-30 22:43
屏蔽干什么？

爬到把服务器干爆了
每月流量就20T ，一台能给他爬到1T多。。。

gr58046576 · 发表于 2021-10-30 22:49:06

沉默的鱼发表于 2021-10-30 22:48
爬到把服务器干爆了
每月流量就20T ，一台能给他爬到1T多。。。

有那么夸张？

vikin · 发表于 2021-10-30 23:01:34

一天爬二十几万次 4H小鸡根本顶不住早屏蔽了

沉默的鱼 · 发表于 2021-10-30 23:08:15

蝙蝠侠发表于 2021-10-30 22:51
加到NGINX配置文件里边

我是加到站点配置那里

但是加了之后

宝塔上行流量统计还是高

不知道啥情况

机长 · 发表于 2021-10-30 23:09:04

限制单个IP连接数

蝙蝠侠 · 发表于 2021-10-30 23:26:43

沉默的鱼发表于 2021-10-30 23:08
我是加到站点配置那里

但是加了之后

看网站日志，是因为什么导致资源占用高

htazq · 发表于 2021-10-30 23:30:34

楼主这情况八成是被别有用心的人利用google爬虫漏洞攻击了，可以搜索相关关键词

		自动登录	找回密码
密码			注册