据2月27日消息，路透社研究所进行的一项研究显示，截至2023年底，全球10个国家近一半（48%）的热门新闻网站屏蔽了OpenAI的爬虫（Crawler），近四家二分之一(24%) 的人屏蔽了谷歌的人工智能爬虫。
来源：Pexels 该研究所分析了来自15 个最广泛的在线新闻来源的robots.txt 文件，包括《纽约时报》、BuzzFeed News、《华尔街日报》、《华盛顿邮报》、CNN 和NPR。这些新闻机构来自德国、印度、西班牙、英国、美国等国家，涵盖传统平面媒体、电视广播媒体和数字原生媒体三种类型。
研究发现，到2023 年底，超过一半(57%) 的传统印刷媒体网站（例如《纽约时报》）屏蔽了OpenAI 的爬虫，而电视和广播公司的这一比例为48%，数字原生媒体为31%。同样，32% 的印刷媒体网站屏蔽了Google 的爬虫程序，而广播公司和数字原生媒体的这一比例分别为19% 和17%。
与此同时，康奈尔大学最近的一项研究发现，当新的人工智能模型仅使用以前模型而不是人类的数据输入来训练时，它们往往会遭受“模型崩溃”或退化，导致生成的内容不太准确。很多错误和误导性信息。
网站爬虫有多种用途。例如，Google 的Googlebot 会抓取发布商网站并将其包含在搜索结果中。 OpenAI 的爬虫GPTBot 在互联网上收集数据，用于训练其大型语言模型，例如ChatGPT。这使得人工智能工具能够生成新闻出版商特别擅长提供的准确、实时的内容：大型语言模型对高质量出版商内容的重视程度是其他来源内容的5 到100 倍。
研究还指出，北半球国家（指主要位于北美、欧洲和其他地区的富裕国家）的新闻机构比南半球国家（一般指非洲、拉丁美洲和其他地区）的新闻机构更强大。加勒比海和太平洋岛屿）。以及亚洲发展中国家）更倾向于屏蔽人工智能爬虫。例如，在美国，79% 的热门在线新闻网站阻止OpenAI，而墨西哥和波兰只有20%。与此同时，德国60% 的新闻网站屏蔽了谷歌的爬虫程序，而波兰和西班牙的这一比例仅为7%。
研究发现，几乎所有屏蔽谷歌爬虫的网站也屏蔽了OpenAI（97%）。虽然该研究没有提供确切的解释，但这可能表明OpenAI 比Google 更早发布了该爬虫程序。
值得注意的是，在大多数国家/地区，一些发布商会在爬虫发布后立即对其进行阻止。 OpenAI于去年8月初推出了人工智能爬虫，谷歌于9月紧随其后。研究还表明，一旦做出屏蔽决定，没有任何网站会撤销对OpenAI 或谷歌人工智能爬虫的屏蔽。
