有些海外爬虫是真nm傻逼,忍不了一点
本文包含大量辱骂性词汇,请酌情观看,如有不适请立即退出。
话不多说,直接上图
MD 总共 5 天时间跑了我将近 40G 的流量,860K 的请求,而且要是是真人还好,结果全 TM 是爬虫,我一个自托管的 Gitea 站要你这么爬???
IP 不打码,全 TM 是 Azure,AWS,CloudFlare 的 IP,没有一点必要。
37.8G 全 TM 是爬虫,快给我气炸了,有你这么爬的么???
服务器流量也是用了 10%(平常一个月能用 2% 就不得了了)
714K 请求来自傻逼 Facebook 脑瘫爬虫,你 TM 乱封号就算了,爬虫也是真 nm 的逆天
是真的棒啊,给我 5 天整出 190 多 MB 的日志
整个服务器资源使用率看看给我干到多少了,最高给我干到 900% 以上(正常情况下不会超过 20%)
CPU 也给我干满好几次,如图
IO 读写直接被干废,延迟爆炸
Redis 也是直接被干爆,内存干到 300 多 M(md 这家伙平常能干到 30M 以上的内存就已经是奇迹了)
我说这几天怎么服务器这么奇怪,状态监控老是给我推服务下线的邮件,进面板也是慢,随便抽了一天的日志看了下我还以为被打了,结果是 nm 机器人泛滥,指着我的 git 站就是框框一顿扫。。。
进 cloudflare 把 under attack 一开世界直接清净了,内存,IO 延迟什么的瞬间就正常,但也不可能一直开 under attack,于是调整了一下 cf waf 策略,把除了已知的搜索引擎爬虫全给拦截,(看了下日志发现还有 OpenAI 的爬虫,真是服了,不给 CN 提供服务还有脸来爬 CN 站,你爬集贸啊,搁这又当又立是吧😅),所以可以看到 CPU 占用,IO 在 24 号后出现断层。
本来以为没事了,结果 CF 还是把 Facebook 这个脑瘫 Bot 放出来了。。。😅
最后整烦了直接把海外 IP 全屏蔽了,反正海外有 GitHub,repo 也会同步至 GitHub。
# 后记
傻逼 Facebook,你妈死了😅
Use this card to join MyBlog and participate in a pleasant discussion together .
Welcome to GoodBoyboy 's Blog,wish you a nice day .