乌克兰3D模型网站Trilegangers因未正确设置robots.txt文件，遭OpenAI的GPTBot爬虫高频抓取，导致服务器瘫痪。GPTBot使用600多个不同IP地址发起数万次请求，超出服务器处理能力。尽管Trilegangers已在协议中禁止未经授权抓取，但未在robots.txt中阻止GPTBot。此次事件不仅导致网站瘫痪，还增加了Trilegangers的服务器费用。目前，Trilegangers已设置robots.txt并使用Cloudflare阻止包括GPTBot和字节跳动Bytespider在内的爬虫。尽管robots.txt是行业约定，但未经授权抓取数据并用于AI训练仍属违法行为。
(IT业界资讯)
via 茶馆 - Telegram Channel
