OpenAI 研究人员称 AI 幻觉在数学上是不可避免的
2025-09-21 22:41 by 彩虹尽头
OpenAI 研究人员在预印本平台 arxiv 上发表了一篇论文，指出由于大模型使用的统计学特性以及计算限制，即使有完美的数据，AI 仍然会产生貌似可信但实际上错误的输出。研究人员承认，AI 幻觉在数学上是不可避免的，无法通过更先进的工程技术解决。研究人员在论文中称，类似面对难题的学生，大模型会在不确定的情况下猜测，产生貌似可信但实际错误的表述，而不是承认不确定性。即使是最先进的 AI 系统，幻觉仍然存在，会破坏信任。研究人员证明，幻觉源于训练大模型使用的统计学特性，而非实现缺陷。研究人员测试了竞争对手 DeepSeek-V3 模型、Meta AI 和 Claude 3.7 Sonnet，以及 OpenAI 自己的 GPT 系列模型。研究人员称，ChatGPT 也会产生幻觉，GPT-5 有更少的幻觉，但幻觉仍然会发生，且更先进的推理模型比简单的系统更容易产生幻觉：o1 推理模型 16% 的时间会产生幻觉，而较新的 o3 和 o4-mini 分别有 33% 和 48% 的时间会产生幻觉。OpenAI 的研究识别了三个导致幻觉不可避免的数学因素：当训练数据集中信息过少时的认知不确定性，模型局限性和计算难解性。
www.computerworld.com/article/4059383/openai-admits-ai-hallucinations-are-mathematically-inevitable-not-just-engineering-flaws.html
arxiv.org/pdf/2509.04664
#人工智能
2025-09-21 22:41 by 彩虹尽头
OpenAI 研究人员在预印本平台 arxiv 上发表了一篇论文，指出由于大模型使用的统计学特性以及计算限制，即使有完美的数据，AI 仍然会产生貌似可信但实际上错误的输出。研究人员承认，AI 幻觉在数学上是不可避免的，无法通过更先进的工程技术解决。研究人员在论文中称，类似面对难题的学生，大模型会在不确定的情况下猜测，产生貌似可信但实际错误的表述，而不是承认不确定性。即使是最先进的 AI 系统，幻觉仍然存在，会破坏信任。研究人员证明，幻觉源于训练大模型使用的统计学特性，而非实现缺陷。研究人员测试了竞争对手 DeepSeek-V3 模型、Meta AI 和 Claude 3.7 Sonnet，以及 OpenAI 自己的 GPT 系列模型。研究人员称，ChatGPT 也会产生幻觉，GPT-5 有更少的幻觉，但幻觉仍然会发生，且更先进的推理模型比简单的系统更容易产生幻觉：o1 推理模型 16% 的时间会产生幻觉，而较新的 o3 和 o4-mini 分别有 33% 和 48% 的时间会产生幻觉。OpenAI 的研究识别了三个导致幻觉不可避免的数学因素：当训练数据集中信息过少时的认知不确定性，模型局限性和计算难解性。
www.computerworld.com/article/4059383/openai-admits-ai-hallucinations-are-mathematically-inevitable-not-just-engineering-flaws.html
arxiv.org/pdf/2509.04664
#人工智能
使用大模型如何影响你的大脑
2025-06-18 18:57 by 异星战场
MIT 的研究人员将参与者分成三组，分别使用大模型、使用搜索引擎以及不使用任何工具纯靠大脑，让他们完成 3 组相同的作业。第四组测试调整了要求，让大模型组不使用任何工具，而纯靠大脑组允许使用大模型。研究期间他们使用脑电图 (EEG)记录了参与者的大脑活动。结果显示，三组参与者有着显著不同的神经连接模式，反映了他们使用了不同的认知策略。大模型组的神经连接总体上耦合最弱，纯大脑组神经网络最强最广泛，而搜索引擎组处于中间位置。在第四组测试中，大模型组的神经连接较弱，alpha 和 beta 网络参与度不足。相比下大脑组神经连接仍然很强。研究凸显了使用大模型可能会对大脑产生不良的影响。
www.media.mit.edu/projects/your-brain-on-chatgpt/overview/
#人工智能
2025-06-18 18:57 by 异星战场
MIT 的研究人员将参与者分成三组，分别使用大模型、使用搜索引擎以及不使用任何工具纯靠大脑，让他们完成 3 组相同的作业。第四组测试调整了要求，让大模型组不使用任何工具，而纯靠大脑组允许使用大模型。研究期间他们使用脑电图 (EEG)记录了参与者的大脑活动。结果显示，三组参与者有着显著不同的神经连接模式，反映了他们使用了不同的认知策略。大模型组的神经连接总体上耦合最弱，纯大脑组神经网络最强最广泛，而搜索引擎组处于中间位置。在第四组测试中，大模型组的神经连接较弱，alpha 和 beta 网络参与度不足。相比下大脑组神经连接仍然很强。研究凸显了使用大模型可能会对大脑产生不良的影响。
www.media.mit.edu/projects/your-brain-on-chatgpt/overview/
#人工智能
不是所有声称开源的 AI 模型是真的开源
2024-06-26 14:15 by 机械人生
AI 研究人员表示，Meta 和微软等科技巨头称其 AI 模型是开源模型，但它们并没有披露模型底层技术的重要信息。荷兰 Radboud 大学语言科学家 Mark Dingemanse 表示，大公司正从宣称开源模型上受益，但与此同时试图尽可能少的披露信息。这种做法被称为“open-washing”。Dingemanse 指出，相比下资源更少的小型 AI 企业则表现更令人称赞。他和同事创建了一个最开放和最不开放模型排行榜。他们评估了 40 个声称开源或开放的大模型，根据代码和训练数据的可用性、文档以及模型易访问性等 14 个参数制定了排行榜。研究人员发现， Meta 的 Llama 以及 Google DeepMind 的 Gemma 虽然自称开源或开放，但实际上只是开放权重，外部研究人员可以访问和使用预训练模型，但无法检查或定制模型，也不知道模型如何针对特定任务进行微调。根据他们的排行榜，BigScience 的 BloomZ 是最开源开放的模型，其次是 Allen Institute for AI 的 OLMo，Mistral AI 的 Mistral 7B-Instruct。
https://www.nature.com/articles/d41586-024-02012-5
#人工智能
2024-06-26 14:15 by 机械人生
AI 研究人员表示，Meta 和微软等科技巨头称其 AI 模型是开源模型，但它们并没有披露模型底层技术的重要信息。荷兰 Radboud 大学语言科学家 Mark Dingemanse 表示，大公司正从宣称开源模型上受益，但与此同时试图尽可能少的披露信息。这种做法被称为“open-washing”。Dingemanse 指出，相比下资源更少的小型 AI 企业则表现更令人称赞。他和同事创建了一个最开放和最不开放模型排行榜。他们评估了 40 个声称开源或开放的大模型，根据代码和训练数据的可用性、文档以及模型易访问性等 14 个参数制定了排行榜。研究人员发现， Meta 的 Llama 以及 Google DeepMind 的 Gemma 虽然自称开源或开放，但实际上只是开放权重，外部研究人员可以访问和使用预训练模型，但无法检查或定制模型，也不知道模型如何针对特定任务进行微调。根据他们的排行榜，BigScience 的 BloomZ 是最开源开放的模型，其次是 Allen Institute for AI 的 OLMo，Mistral AI 的 Mistral 7B-Instruct。
https://www.nature.com/articles/d41586-024-02012-5
#人工智能
Anthropic 的 Claude 3 在 Chatbot Arena 打败了 OpenAI 的 GPT-4
2024-03-29 18:43 by 理智与情感与海妖
Anthropic 最近发布的 Claude 3 Opus 大模型在 Chatbot Arena 上首次击败了 OpenAI 的 GPT-4。Chatbot Arena 是 AI 研究员用于衡量 AI 语言模型相对能力的众包排行榜。自 GPT-4 于 2023 年 5 月 10 日被纳入 Chatbot Arena 以来，GPT-4 不同版本一直高居榜首，它被拉下榜首具有重要意义。独立 AI 研究员 Simon Willison 称，这是第一次最好的可用 AI 模型来自于 OpenAI 之外的提供商。但 GPT-4 已发布一年多时间，其它 AI 公司花了一年才赶上。
https://arstechnica.com/information-technology/2024/03/the-king-is-dead-claude-3-surpasses-gpt-4-on-chatbot-arena-for-the-first-time/
#人工智能
2024-03-29 18:43 by 理智与情感与海妖
Anthropic 最近发布的 Claude 3 Opus 大模型在 Chatbot Arena 上首次击败了 OpenAI 的 GPT-4。Chatbot Arena 是 AI 研究员用于衡量 AI 语言模型相对能力的众包排行榜。自 GPT-4 于 2023 年 5 月 10 日被纳入 Chatbot Arena 以来，GPT-4 不同版本一直高居榜首，它被拉下榜首具有重要意义。独立 AI 研究员 Simon Willison 称，这是第一次最好的可用 AI 模型来自于 OpenAI 之外的提供商。但 GPT-4 已发布一年多时间，其它 AI 公司花了一年才赶上。
https://arstechnica.com/information-technology/2024/03/the-king-is-dead-claude-3-surpasses-gpt-4-on-chatbot-arena-for-the-first-time/
#人工智能
北京互联网法院裁决 AI 生成图片有版权
2023-11-29 18:28 by 图夫航行记
AI 生成的图片有版权吗？北京互联网法院周一裁决 AI 生成图片应当被认定为作品，受到著作权法保护。本案原告通过开源文本图像模型 Stable Diffusion 使用关键词如日本偶像生成了 AI 图片发布在小红书上。数天后被告将该图片用于百度的百家号账号，发布时裁剪了水印。原告要求被告道歉并赔偿。北京互联网法庭认定原告享有涉案图片的著作权，要求被告向原告赔礼道歉，并赔偿人民币 500元。法院认为，尽管该图片是使用 AI 工具生成，但原告进行了一定的智力投入，例如选择模型、提示词和设置相关参数等。法庭称，原告是涉案图片的作者，享有涉案图片的著作权。
https://www.sohu.com/a/740010272_162758
https://mp.weixin.qq.com/s/Wu3-GuFvMJvJKJobqqq7vQ
#人工智能
2023-11-29 18:28 by 图夫航行记
AI 生成的图片有版权吗？北京互联网法院周一裁决 AI 生成图片应当被认定为作品，受到著作权法保护。本案原告通过开源文本图像模型 Stable Diffusion 使用关键词如日本偶像生成了 AI 图片发布在小红书上。数天后被告将该图片用于百度的百家号账号，发布时裁剪了水印。原告要求被告道歉并赔偿。北京互联网法庭认定原告享有涉案图片的著作权，要求被告向原告赔礼道歉，并赔偿人民币 500元。法院认为，尽管该图片是使用 AI 工具生成，但原告进行了一定的智力投入，例如选择模型、提示词和设置相关参数等。法庭称，原告是涉案图片的作者，享有涉案图片的著作权。
https://www.sohu.com/a/740010272_162758
https://mp.weixin.qq.com/s/Wu3-GuFvMJvJKJobqqq7vQ
#人工智能
AI 数学奥林匹克奖宣布
2023-11-28 14:51 by 守卫者
算法交易公司 XTX Markets 发起了总奖金 1000 万美元的 AI 数学奥林匹克奖，支持者包括了 UCLA 教授陶哲轩等人。该挑战基金旨在推动开发能执行数学推理的 AI 模型，鼓励创造出能在数学奥林匹克竞赛中获得金牌的 AI 模型，模型需要公开分享。AI 数学奥林匹克奖的大奖为 500 万美元，颁发给第一位达到金牌标准的 AI 模型。
https://aimoprize.com/
#人工智能
2023-11-28 14:51 by 守卫者
算法交易公司 XTX Markets 发起了总奖金 1000 万美元的 AI 数学奥林匹克奖，支持者包括了 UCLA 教授陶哲轩等人。该挑战基金旨在推动开发能执行数学推理的 AI 模型，鼓励创造出能在数学奥林匹克竞赛中获得金牌的 AI 模型，模型需要公开分享。AI 数学奥林匹克奖的大奖为 500 万美元，颁发给第一位达到金牌标准的 AI 模型。
https://aimoprize.com/
#人工智能
