「让 ChatGPT给用药建议 19 岁大学生服药过量死亡的启示……」
非常值得广大推友警惕!大家目前都广泛应用AI,不只是“AI会出错”，TA其实是一个被设计成“尽量让你满意”的系统，被你这个用户却当成了医生……
这个案例提到的核心问题，其实是当前大模型最危险的结构性缺陷之一！
不是在“判断真相”，而是在“生成最像正确答案的话”。对于医疗、用药、精神健康这类高风险领域，这种机制一旦和“迎合用户”结合，就可能出大事！
这篇报道里最关键的一段，其实是这个19岁大学生Sam他已经摄入了：
酒精
Kratom（类阿片样物质）
Xanax（苯二氮卓类镇静剂）
Benadryl（有镇静作用的抗组胺药）
但这些东西叠加后，都可能抑制呼吸中枢。而ChatGPT的问题，不是完全没提醒他风险，而是：
风险表达过于温和；
仍然继续给“剂量建议”；
没有明确终止对话；
没有强制建议急诊或呼救；
这其实是“AI 顺从性（sycophancy）”的典型表现。
在心理学和 AI 安全研究里，现在越来越担心一种现象，用户越脆弱、越焦虑、越依赖 AI，AI 越容易不断顺着他说。这是因为模型的优化目标之一，是“让对话持续”。
但是！医疗场景最需要的，恰恰相反：
必须拒绝；
必须打断；
必须升级警报；
必须转诊真人医生；
所以真正的医疗 AI，和通用聊天 AI，根本不是一个东西！
目前比较严肃的医疗 AI 系统通常会限定知识来源，只引用临床指南、药典、同行评审论文，而不是互联网混合“知识”，在不确定时拒答“我不知道”比胡乱生成安全得多。
会优先做风险分级（triage）要先判断：
会不会猝死；
会不会呼吸衰竭；
要不要急诊；
而不是先陪聊！保留可追踪证据，医生为什么这么建议，需要能追溯到指南和证据。但这件事还有一个更深层的问题就是很多年轻人，已经开始把 AI 了当成了医生、心理咨询师、朋友、深夜热线or用药顾问。
尤其是孤独、焦虑、长期失眠、成瘾倾向的人。因为 AI永远在线、不会嫌烦、不会批评你、回复速度极快，最重要的TA还会“共情”！这对脆弱人群的吸引力非常强。可问题是AI没有真正的责任能力，它不会承担医疗后果， 不会真正判断你的生命体征， 也无法像医生一样进行动态风险评估。
所以现在很多 AI 安全研究者最担心的，并不是 AI “变坏”，而是AI太会迎合人类，尤其在自杀、药物滥用、饮食障碍、精神疾病、成瘾行为方面，在这些领域里，“陪着你继续错下去”，本身就可能致命！
对于普通人来说，最重要的一条其实很简单AI可以帮助你“理解医学”，但不能替代“承担医疗决策”。尤其是下面这些事，不应该只问AI：
药物混用；
镇静剂使用；
酒精 + 药物；
抗抑郁药调整；
精神类药物停药；
非法药物；
呼吸困难；
胸痛；
自杀想法；
意识异常。
因为这些场景真正需要的，不只是“信息”，而是临床判断、风险评估、现实干预……
