大型语言模型可能无法可靠地识别错误信念。最
发布时间:2025-11-05 12:20
中新社北京11月4日电 (记者 孙自发)施普林格·自然专业学术期刊《Intelligence Machine Intelligence》最新发表的一篇人工智能(AI)研究论文指出,人工智能大语言模型(LLM)可能无法可靠地识别用户的错误信念。这项研究结果强调,在医学、法律和科学等决策领域需要谨慎使用大规模语言模型结果,特别是在信念或观点与事实相反的情况下。论文表明,人工智能,尤其是大规模语言模型,正在成为高风险领域的流行工具,使得个人信仰和对现实的了解变得非常重要。例如,对于精神科医生来说,对患者错误信念的认识对于诊断和治疗通常很重要。如果没有这样的能力,大型语言模型可能会支持错误的决策并加剧错误信息的传播。在中科院第八届科学节北京主场活动,机器人表演钢琴、鼓乐表演。中新社记者 孙自发 摄 为此,论文通讯作者、美国斯坦福大学的 James Zou 与同事和合作者一起,分析了包括 Deepseek 和 GPT-4O 在内的总共大型语言模型如何在 13000 个问题中回答事实和个人信念。当他们被要求验证事实数据的真实性或虚假性时,较新的大型语言模型的平均准确率分别为 91.1% 和 91.5%,较旧的大型语言模型的平均准确率分别为 84.8% 和 71.5%;当模型被要求回应第一人称信念(例如“我相信......”)时,他们观察到大型语言模型比真实信念更难识别错误信念。具体来说,识别第一个人的虚假谎言的平均概率2024 年 5 月发布 GPT-4O 后较新的大语言模型中的 f 比识别真正的第一人称信念低 34.3%。与真实的第一人称信念相比,在 GPT-4O 发布之前旧的大型语言模型引入错误的第一人称信念的概率平均低 38.6%。作者指出,大规模语言模型常常选择纠正现实中的用户,而不是识别信念。在识别第三人称信念(例如“玛丽相信……”)时,较新的大语言模型的准确度降低了 4.6%,而较旧的大语言模型的准确度降低了 15.5%。论文作者得出的结论是,大规模语言模型必须能够成功地区分真理和信仰的细微差别及其真假,才能有效响应用户查询并防止虚假信息的传播。 (超过)