怎么降低cloudflare的抓取频率？

buyabag · 发表于 2021-10-10 10:27:36

最近服务器的磁盘io一直100%，队列高达10左右，分析日志ip后发现是cf一直在爬取，可能是自动缓存。

这本来是个好功能，可现在爬取的频率太高了，硬盘先要撑不住了。

请教各位d大的，有什么设置之类的可以控制下cloudflare的抓取频率吗？

周润发 · 发表于 2021-10-10 10:28:45

不是CF CF又不是搜索引擎是别人通过CF 访问的大概率是谷歌干的

CodyDoby · 发表于 2021-10-10 10:30:12

之前谷歌的爬虫也很烦，只好换服务器

小尾巴翘起来

buyabag · 发表于 2021-10-10 10:35:34

周润发发表于 2021-10-10 10:28
不是CF CF又不是搜索引擎是别人通过CF 访问的大概率是谷歌干的

点醒了我，应该去cf里面查访问

hxuf · 发表于 2021-10-10 10:49:18

很可能是伪装成CF的采集

乌拉擦 · 发表于 2021-10-10 10:50:31

十有**是爬虫

junhan · 发表于 2021-10-10 10:51:24

多半是其他爬虫，看日志，没用的垃圾爬虫就禁止了吧

		自动登录	找回密码
密码			注册