TG Telegram Group & Channel
yzqzss|一座桥在水上's Note | United States America (US)
Create: Update:

正常用户很少去点那些不常用的查询功能。
但是这些 AI bot 爬虫可一点都不 AI,得劲地点一切能点的东西,倒查页面历史到 1970。
平均每 request 造成的 load 比人类高许多。
我之前懒得管,反正没造成宕机,但是最近7天阿里不要脸了,跟 CC 没啥两样。但凡它做点 feedback loop 退避机制也好。

最近1天的 CPU 占用中位数是 30%,屏蔽阿里ASN后,现在只有 7% 的占用。

这还只是一个不知名的小站。并且服务器上还有其它网站和东西在跑。

yzqzss|一座桥在水上's Note
阿里 AI 小爬虫用请求击落 MediaWiki 站点。 时不时就有 AI bot 来爬我托管的 osm.bio (cpu 高于 10% 的都是 AI bot 加快爬取速度造成的) 爬内容页就算了吧,这些 bot 像是 zz 一样,怼着一些奇奇怪怪的非内容页爬,唯一的作用就是拿到一堆没用的页面,然后锻炼我的 CPU。🤪🤪 最近 7 天,AI bot 确实越来越猖獗了。 真的大量(80~99%)来自 Alibaba 的 ip。 附赠节能 ip 桌子:https://www.enjen.net/asn-…
正常用户很少去点那些不常用的查询功能。
但是这些 AI bot 爬虫可一点都不 AI,得劲地点一切能点的东西,倒查页面历史到 1970。
平均每 request 造成的 load 比人类高许多。
我之前懒得管,反正没造成宕机,但是最近7天阿里不要脸了,跟 CC 没啥两样。但凡它做点 feedback loop 退避机制也好。

最近1天的 CPU 占用中位数是 30%,屏蔽阿里ASN后,现在只有 7% 的占用。

这还只是一个不知名的小站。并且服务器上还有其它网站和东西在跑。


>>Click here to continue<<

yzqzss|一座桥在水上's Note








Share with your best friend
VIEW MORE

United States America Popular Telegram Group (US)