不想被OPENAI白嫖：纽约时报网站封杀GPT爬虫禁止其抓取网站内容 – 蓝点网
发布时间：2025-05-04 23:03:05 作者：玩站小弟 
我要评论
我要评论8 月 7 日 OPENAI 公布自己的互联网爬虫 GPTBot，该爬虫是 OPENAI 用来在全网抓爬内容然后训练 AI 模型用的。尽管多数网站允许 GPTBot 抓爬内容，不过也有些网站并不想给
。
8 月 7 日 OPENAI 公布自己的不想被OI白报网互联网爬虫 GPTBot，该爬虫是嫖纽爬虫 OPENAI 用来在全网抓爬内容然后训练 AI 模型用的。尽管多数网站允许 GPTBot 抓爬内容，站封站内不过也有些网站并不想给 OPENAI 白嫖，禁止所以在 robots.txt 文件里屏蔽了 GPTBot。其抓取网
比如知名新闻媒体《纽约时报》就在网站上封禁 GPTBot，容蓝禁止该爬虫访问纽约时报网站的点网任何内容，包括首页信息摘要等。不想被OI白报网
互联网档案馆的嫖纽爬虫存档显示，纽约时报大约是站封站内在 8 月 17 日修改 robots.txt 文件屏蔽 GPTBot 的，而在稍早的禁止时候纽约时报则修改了服务条款，明确禁止任何公司抓取其内容用来训练人工智能模型，其抓取网所以之后修改 robots.txt 协议禁止 GPTBot 也倒是容蓝可以理解。
纽约时报与 OPENAI 矛盾还是点网挺深的，上个月纽约时报就表示正在考虑对 OPENAI 提起法律诉讼，不想被OI白报网因为 OPENAI 侵犯了纽约时报的版权。还有两名作者也在 7 月起诉了 OPENAI，因为 OPENAI 拿他们的作品训练 GPT 模型。
对于修改 robots.txt 阻止 OPENAI 抓爬这事儿，纽约时报拒绝置评，OPENAI 则没有回复置评请求。
最后：如果你也想控制 GPTBot 的抓爬，可以在你网站的 robots.txt 文件中加入指令，例如完全禁止 GPTBot 或允许 GPTBot 抓取一部分内容。
具体操作方法请看：如何禁止OPENAI的爬虫(GPTBot)抓爬网站 附该爬虫的IP地址网段
相关文章
《钢铁收割》最近公布了首个游戏演示视频，向玩家们展示了游戏的一些特色内容，这款游戏预计明年上线，可能很多玩家也是非常期待，下面预告视频一起来看看吧。《钢铁收割》发布了首部游戏演示，这是一款经典即时战略2025-05-04
讲起日本兵库，或许大年夜家没有是很逝世谙的，但是秋季的时候，那里的银杏树景没有雅却非常斑斓，大年夜家能够往那里走一走，详细皆有哪些能够没有雅赏的处所呢？小编为大年夜家保举一下！大年夜足前通东侧步讲银杏2025-05-04
现在玩家能够正在足机上玩到steam单人游戏大年夜做了，享用与pc分歧的 下浑绘里，与朋友畅玩单人游戏，享用视觉上的绘量好感战与朋友玩的镇静。1.人类跌降乌苦乡人类跌降乌苦乡游戏截图人类跌降乌苦乡间载2025-05-04
乙女背的爱情游戏中有各色的男逝世供玩家攻略，并且借有歉富的剧情，上里小编便去先容几款好玩的乙女范例的爱情类游戏，感兴趣的小水陪一起去看看吧。1.掌门太闲掌门太闲游戏截图掌门太闲下载》》》掌门太闲一款古2025-05-04
无主之地系列是很多玩家都非常喜欢的游戏，最近关于无主3的消息公布，官方放出了一张预热图片，但是经过玩家对官方消息破译，表示新作背景不再是潘多拉，下面消息内容大家可以看看。很多粉丝希望能在今年的E3上看2025-05-04
黄山的大年夜部分线路的挨算对一其中埠人去讲，很大年夜一部分的功绩应当回结于我留宿堆栈的老板。线路皆是他保举给我的，真的是省往了很多直路。后里玩耍的时候，真的是感受，感受甚么皆天真烂漫的感受，应当有多盈2025-05-04
最新评论