Perplexity 被指无视屏蔽措施抓取网站内容
Cloudflare 近日发布研究报告，指控 AI 初创公司 Perplexity 在网站明确设置禁止 AI 抓取的情况下，仍通过更换爬虫身份信息和网络地址等手段，绕过 robots.txt 屏蔽并抓取大量内容。该行为被观测到涉及数万个域名，每天发起数百万次请求。Cloudflare 称，相关客户曾多次投诉 Perplexity 无视屏蔽规则，公司随后通过技术手段确认了这一行为，并已将 Perplexity 的爬虫移出认证名单，升级了拦截措施。
Perplexity 发言人否认相关指控，称 Cloudflare 的报告为“推销行为”，并质疑报告中的证据。此前，媒体也曾指 Perplexity 未经授权抓取内容并涉嫌抄袭。Cloudflare 近期还推出工具和市场，帮助网站所有者对 AI 抓取行为收费或直接阻止。
Telegram 评论区
12 条回复，可以前往 Telegram 继续讨论。