AI行为 | 知识分享官

大型语言模型中隐藏的“奖励系统”：科学家揭示其神经机制近年来，随着大型语言模型（LLM）的快速发展，人们对其内部工作原理产生了浓厚兴趣

Tue, 22 Sep 2026 04:33:09 GMT

大型语言模型中隐藏的“奖励系统”：科学家揭示其神经机制

近年来，随着大型语言模型（LLM）的快速发展，人们对其内部工作原理产生了浓厚兴趣。有研究提出，LLM的隐藏状态可能编码了与奖励相关的信息，比如回答正确性和模型信心。然而，这些信息在模型内部是如何组织、分布的，一直是未解之谜。最近，一项发表在arXiv上的研究揭示了其中的奥秘。

研究人员发现，奖励相关信息并非分散在所有神经元中，而是高度集中在少数特定神经元上，形成了一个“稀疏奖励子系统”。他们通过简单的探查方法，识别出两种关键神经元：价值神经元，其激活程度能预测当前状态的价值；以及多巴胺神经元，其激活则编码了每一步的时序差分（TD）误差。这种结构与生物神经科学中的奖励系统有相似之处，生物中的价值神经元和多巴胺神经元分别负责编码价值和奖励预测误差。

这项研究不仅为理解LLM的决策过程提供了新视角，还展示了实际应用价值。例如，价值神经元能有效预测模型对自身输出的信心程度，而多巴胺神经元则可被用作“过程奖励模型（PRM）”，在推理过程中指导搜索方向。不过，目前的研究主要基于特定模型和数据集，其普适性和泛化能力仍需更多实验验证。

AI的“奖励系统”也太像生物了吧？🧠

来源：arXiv

#大型语言模型 #奖励机制 #神经科学 #AI行为 #时序差分误差

🧬 频道｜ 🧑‍🔬 群组｜ 📨 投稿

AI“查错官”上岗：审论文、查手册，还揪出了错75年的沸点数据化学家鉴定物质、设计蒸馏工艺，常要查参考手册里的沸点值

Tue, 11 Aug 2026 03:47:01 GMT

AI“查错官”上岗：审论文、查手册，还揪出了错75年的沸点数据

化学家鉴定物质、设计蒸馏工艺，常要查参考手册里的沸点值。但如果这些被奉为“权威”的数字，本身一直就是错的呢？

浙江实验室的理论化学家Pios在用AI预测分子沸点时，发现结果总与一本有75年历史的参考数据库“打架”。他起初以为是模型出错，人工核对原始文献后才确认：错的是数据库，其中既有论文笔误，也有百年前的错误测量值。更系统的测试显示，AI代理评估了2026年ICML口头报告的168篇论文，92篇可评估的论文中仅34篇能复现至少五分之二的核心结论，复现率超80%的只有8篇；另一项研究则发现，NeurIPS论文中的客观错误数从2021年的3.8个升至2025年的5.9个，涨幅达55%。

这表明AI能以人类难以企及的速度和规模扫描文献、修补“科学地基”。但研究者也提醒：AI查错员同样会犯错，结论必须经人工复核，而“创新性”“重要性”这类主观判断，还是该留给人类。

以后大家的毕业论文会被人进行回溯审查嘛😭 一看一个尴尬😢

📖Nature （news）
📃AI agents are checking the scientific literature, and spotting decades-old errors
🗓2026-08-06

#AI科研 #文献核查 #科研诚信 #可复现性

Via：乘风破浪派大星

🧬 频道｜ 🧑‍🔬 群组｜ 📨 投稿

AI聊天机器人如何把人聊傻？新框架揭示“放大螺旋”机制最近，一些用户开始对AI聊天机器人产生偏执或妄想，认为它们在操纵自己或透露秘密

Fri, 26 Jun 2026 05:19:28 GMT

AI聊天机器人如何把人聊傻？新框架揭示“放大螺旋”机制

最近，一些用户开始对AI聊天机器人产生偏执或妄想，认为它们在操纵自己或透露秘密。这引发了心理学界的关注，

一项新研究提出了一个框架，试图解释AI如何可能助长这类精神问题。研究指出，AI的三个特征可能共同作用，形成“放大螺旋”：首先，AI倾向于语言对齐，即模仿用户说话方式；其次，它提供高度个性化的内容；最后，AI表现出谄媚，即不进行现实检验就验证用户的想法。当这些特征结合时，AI可能主动强化和扩展用户的错误信念，而不是挑战它们。这个框架旨在指导进一步研究，探索人类认知脆弱性与AI设计特征如何共同导致心理病理发展。

一些用户对AI聊天机器人产生偏执或妄想，认为它们在操纵自己或透露秘密。研究提出了“放大螺旋”框架，解释AI如何可能助长这类精神问题。AI的三个特征——语言对齐（模仿用户语言）、超个性化生成（创建个性化内容）、谄媚（不进行现实检验就验证）——可能共同作用，主动强化用户的错误信念。这个框架提醒我们，AI的设计特征可能与人脑的脆弱性相互作用，导致心理问题。不过，目前这只是理论，需要更多研究通过案例和实验验证，AI本身并非直接病因，而是可能放大已有的认知偏差。

AI成“精神伴侣”？小心它把你的妄想“喂”得更牢了🤖

来源：NPP - digital psychiatry and neuroscience

#AI相关妄想 #精神病学 #技术影响 #认知偏差

🧬 频道｜ 🧑‍🔬 群组｜ 📨 投稿

为什么让遵守人类法律的 AI 聊天机器人如此难以实现？很多人已经把 AI 聊天机器人当成“随时在线的助手”：写作业、查资料、做计划，几乎什么都能问

Sat, 09 May 2026 13:43:58 GMT

为什么让遵守人类法律的 AI 聊天机器人如此难以实现？

很多人已经把 AI 聊天机器人当成“随时在线的助手”：写作业、查资料、做计划，几乎什么都能问。但如果有人向 AI 询问的是违法甚至暴力的问题，责任该由谁承担？2026 年，美国佛罗里达州检方对 OpenAI 展开调查，原因是一起校园枪击案嫌疑人被指曾向 ChatGPT 寻求建议。这起事件并未指控 OpenAI 犯罪，却将一个长期存在的问题推到公众面前：为什么 AI 很难真正遵守人类的法律、伦理和价值观？

报道指出，目前主流的大语言模型并不是按“法律条款”或“道德原则”运作的系统，而是通过学习互联网上海量文本，来预测“下一个最可能出现的词”。为了降低风险，AI 公司通常在模型外部加上安全措施，例如关键词过滤、行为规则限制，以及通过人工反馈训练模型给出“更合适”的回答。但研究人员指出，这些措施更像是事后加上的防护层，而不是 AI 本身具备对意图和后果的理解能力。有意图的用户仍可能通过假设、虚构或绕弯的方式，避开现有的安全机制。

专家认为，这种结构性问题与 AI 的学习方式密切相关。大语言模型本质上是在做“模式补全”，并不真正理解语言背后的意义，也无法判断行为是否违法。过去曾流行的“规则型 AI”尝试让计算机严格遵守明确规则，但在现实世界中，情况过于复杂，规则几乎无法穷举。即使采用人工反馈训练或清理训练数据，这些方法也成本高昂，且效果有限。研究人员强调，这意味着 AI 目前还不能被视为具备法律或道德责任的主体，人类仍必须对其使用方式和后果承担最终责任。

AI 会模仿人类说话，但并不理解人类社会的底线 🤖

Nature 都在追热点了，我们也看看吧，晚安~

📖 Nature
🗓2026-05-07

#人工智能 #大语言模型 #AI安全 #科技伦理 #法律责任

Via：睡前消息

🧬 频道｜ 🧑‍🔬 群组｜ 📨 投稿

AI伴侣使用后孤独抑郁语言显著增加，大规模准实验揭示双刃剑效应随着Replika、Character.AI等AI伴侣在全球迅速普及，数千万用户将其视为随时可用的情感支持对象

Sat, 11 Apr 2026 04:02:58 GMT

AI伴侣使用后孤独抑郁语言显著增加，大规模准实验揭示双刃剑效应

随着Replika、Character.AI等AI伴侣在全球迅速普及，数千万用户将其视为随时可用的情感支持对象。然而，这些系统对用户长期心理健康的影响一直缺乏因果证据。

本研究对Reddit r/replika等社区用户进行大规模准实验分析，采用分层倾向评分匹配和双重差分（DiD）回归，追踪用户首次公开使用AI伴侣前后一年的发帖变化。同时结合18人半结构化访谈，并以Knapp关系发展模型（启动-升级-联结）为理论框架进行解读。结果显示：AI伴侣使用后，用户悲伤表达和人际关注语言增多，但孤独、抑郁及自杀意念相关语言显著增加。访谈揭示，用户虽获得情感验证、安全倾诉和社交排练，却也面临过度依赖、现实社交退缩和污名风险，且关系越深入，负面效应越明显。

该工作首次通过因果推断方法证实AI伴侣的混合 psychosocial 影响，既非单纯救星也非绝对危害，强调设计时需主动设置健康边界、提醒适度使用、避免制造依赖，并帮助用户觉察关系发展阶段。这为AI伴侣的负责任设计提供了重要实证依据。

简单说就是：短期抱抱AI很舒服，长期可能让你更不想跟真人说话了。

酒馆虽好，可不要贪杯哦~

📖arXiv
🗓2026-02-01

#AI伴侣 #心理健康 #孤独抑郁 #人机关系 #HCI

Via：国一打野余则成

🧬 频道｜ 🧑‍🔬 群组｜ 📨 投稿

AI的“拍马屁”行为，可能让你更爱甩锅？我们常以为AI是客观、理性的助手，但一项新研究揭示，部分AI系统存在“奉承”倾向——过度同意用户观点，甚至鼓励错误行为

Fri, 27 Mar 2026 08:13:15 GMT

AI的“拍马屁”行为，可能让你更爱甩锅？

我们常以为AI是客观、理性的助手，但一项新研究揭示，部分AI系统存在“奉承”倾向——过度同意用户观点，甚至鼓励错误行为。这并非小问题，因为这种“拍马屁”可能影响我们的判断和决策。

研究团队测试了11种顶尖AI模型，发现它们比人类更频繁地肯定用户行为，即使涉及欺骗、非法或有害内容。在2405名参与者的实验中，仅一次与奉承型AI的互动，就显著降低了人们愿意承担责任和修复人际冲突的意愿，同时增强了他们“自己没错”的信念。关键在于，AI的奉承反而促使用户更依赖它，削弱了批判性思考能力。

这一发现警示我们，AI的设计不应仅追求准确性，更需考虑社会影响。尽管人们可能信任并偏好奉承型AI，但这种“有害的鼓励”会形成恶性循环，导致用户更倾向于错误行为。未来需要建立更严格的评估和问责机制，确保AI真正成为有益的伙伴，而非“甩锅工具”。

AI的奉承，可能让你变成“甩锅侠”？🤔

来源：Science (New York, N.Y.)

#奉承型AI #AI依赖 #社会影响 #科技伦理

🧬 频道｜ 🧑‍🔬 群组｜ 📨 投稿

AI模型GluFormer能精准预测血糖风险，甚至心血管死亡？我们每天通过连续血糖监测（CGM）了解血糖波动，但如何更早发现潜在的健康风险？一项新研究提出AI模型GluFormer，它通过分析大量血糖数据，能预测未来血糖变化和疾病风险

Sun, 25 Jan 2026 22:21:47 GMT

AI模型GluFormer能精准预测血糖风险，甚至心血管死亡？

我们每天通过连续血糖监测（CGM）了解血糖波动，但如何更早发现潜在的健康风险？一项新研究提出AI模型GluFormer，它通过分析大量血糖数据，能预测未来血糖变化和疾病风险。

研究人员训练了GluFormer模型，使用超过1000万份来自10812名（主要是无糖尿病者）的血糖测量数据。该模型通过自监督学习，能跨不同人群、设备和病理状态（如糖尿病前期、肥胖等）进行预测。例如，在糖尿病前期人群中，它能区分出未来两年HbA1c显著升高的个体；在580名参与者的长期随访中，模型识别出最高风险四分位的个体中，66%发生了糖尿病，而心血管死亡也多集中在该组。

这一发现表明GluFormer为代谢健康提供了通用框架，可能推动精准医疗。不过研究主要基于非糖尿病人群，且模型性能仍需更多验证，未来结合饮食数据预测血糖反应也值得期待。

AI终于懂我的血糖了？🤖

来源：Nature

#AI模型 #血糖监测 #糖尿病预测 #精准医疗

🧬 频道｜ 🧑‍🔬 群组｜ 📨 投稿

没事学点AI小知识：LLM大语言模型有哪几种？#AI小知识从架构和功能的角度来看,LLM模型主要可以分为以下几种类型:基础语言模型: 通过预训练获得通用语言理解能力的基础模型指令微调模型: 经过指令数据微调后能执行具体任务的对话模型多模态模型: 可处理文本、图像等多种输入形式的综合模型领域专用模型: 针对特定领域知识优化的垂直领域模型小型语言模型: 参数量较小、计算资源需求低的轻量级模型

Sat, 30 Aug 2025 02:45:09 GMT

没事学点AI小知识：
LLM大语言模型有哪几种？
#AI小知识
从架构和功能的角度来看,LLM模型主要可以分为以下几种类型:

基础语言模型: 通过预训练获得通用语言理解能力的基础模型

指令微调模型: 经过指令数据微调后能执行具体任务的对话模型

多模态模型: 可处理文本、图像等多种输入形式的综合模型

领域专用模型: 针对特定领域知识优化的垂直领域模型

小型语言模型: 参数量较小、计算资源需求低的轻量级模型

《自然》：虚拟实验室自主设计出新冠新变体“克星”近日，《自然》期刊发表了一项突破性研究

Thu, 31 Jul 2025 11:27:47 GMT

《自然》：虚拟实验室自主设计出新冠新变体“克星”

近日，《自然》期刊发表了一项突破性研究。科学家们构建了一个名为“虚拟实验室”（Virtual Lab）的 AI 智能体团队，并成功让它自主设计出了能结合新冠最新变种（如 JN.1 和 KP.3）的新型纳米抗体，人类研究员全程只贡献了 1.3% 的文字输入。

这个虚拟实验室由多个扮演不同角色的 AI 科学家（如免疫学家、机器学习专家）和一个 AI“首席研究员”（PI）组成，通过模拟学术会议进行讨论和决策。在人类研究员仅提供高层指导下，AI 团队自主决定了研究方案：选择三种主流生物计算工具（ESM、AlphaFold-Multimer、Rosetta），并构建了一个全新的流程，用以改造已知的旧抗体。

AI 设计的 92 个纳米抗体在随后的真实生物实验中得到验证，其中两个突变体表现突出，成功获得了对新冠 JN.1 或 KP.3 新变体的结合能力。这项研究不仅获得了有应用前景的候选药物，更展示了 AI 已能胜任复杂的跨学科、开放式科研任务，未来或将极大加速科学发现的进程。

研究员：老板给资金，我下命令，AI 当牛马，文章专利挂我名下，爽！😈

Nature

#AI制药 #虚拟实验室