Reddit 将更新网络标准以阻止自动网站搜索

((自动化翻译由路透提供，请见免责声明 ))

路透6月25日 - 社交媒体平台Reddit 周二表示，在有报导称人工智能初创公司绕过该规则为其系统收集内容之后，它将更新该平台使用的一项网络标准，以阻止从其网站上自动搜刮数据。

此举正值人工智能公司被指控剽窃出版商的内容来创建人工智能生成的摘要而不注明出处或征求许可之际。

Reddit 表示将更新《机器人排除协议》（Robots Exclusion Protocol），即 "robots.txt"，这是一个被广泛接受的标准，用于确定允许抓取网站的哪些部分。

该公司还表示，它将保留 "速率限制"（一种用于控制来自某一特定实体的请求数量的技术），并将阻止未知机器人和爬虫在其网站上进行数据搜刮（收集和保存原始信息）。

最近，robots.txt 已成为出版商用来阻止科技公司免费使用其内容来训练人工智能算法并针对某些搜索查询创建摘要的重要工具。

上周， (link)，内容授权初创公司TollBit致信出版商称，几家人工智能公司正在规避网络标准，对出版商网站进行搜刮。

此前，《连线》 (link)，调查发现人工智能搜索初创公司Perplexity很可能绕过了通过robots.txt阻止其网络爬虫的努力。

6 月早些时候，商业媒体出版商《福布斯》指责 (link) Perplexity 剽窃其调查报导，用于人工智能生成系统，却不注明出处。

Reddit 周二表示，研究人员和互联网档案馆（Internet Archive）等组织将继续以非商业目的访问其内容。