打开手机导航，系统提示“前方右转”，可你明明看到右转是条断头路，但你还是拐了过去，直到车子停在工地围挡前才反应过来。这种对自动化系统“无脑服从”的瞬间，就是认知科学里所说的自动化偏差——一种默认机器比我们更聪明、更可靠，从而放弃自身判断的倾向。
这个概念最初来自航空领域。上世纪九十年代，美国国家航空航天局（NASA）的工程师发现了一个诡异的现象：随着飞机自动驾驶系统越来越先进，飞行员反而更容易犯低级错误。有时候仪表盘已经明显显示飞行高度异常，但飞行员依然按自动驾驶的指令操作，直到灾难发生。1997年，两位学者拉贾·帕拉苏拉曼和维克多·莱利在《人类因素》期刊上发表了那篇后来成为经典的论文，正式把这种现象命名为自动化偏差，并区分了它的两种表现形式：一种是“执行错误”，比如导航让你开进湖里你就真的开进去；另一种是“遗漏错误”，比如因为系统没报警，你连肉眼可见的危险都视而不见。
放到今天这个AI遍地走的时代，自动化偏差的危险系数比当年只高不低。因为我们面对的不再是简单的自动驾驶仪，而是能写文章、能看病、能炒股、能替你决策的大模型。算法从工具变成了“权威”，而人类正在以惊人的速度放弃自己的判断权。
自动化偏差并不是突然发生的，它更像一个温水煮青蛙的过程。第一步，你刚接触某个系统时，它表现得很靠谱，几次操作下来都精准无误，于是你对它建立了信任。第二步，随着信任加深，你开始把认知负担“外包”给它——反正它能处理好，我何必费脑？第三步，你越来越放松警惕，不再主动核验系统的输出。第四步，当系统的答案和你自己的直觉或外部证据产生矛盾时，你会下意识地给系统找理由：“算法肯定比我想得周全”“数据不会骗人”。第五步，你接受了那个可能错误的答案，放弃了干预的机会。
这套机制里最关键的一环是“认知卸载”。人脑天生节能，能不动脑就不动脑。自动化系统恰好给了我们一个完美的偷懒借口。可问题在于，当系统出错时——尤其是以那种不明显的方式出错时——你已经失去了发现错误的能力，因为你的注意力早就不在线上了。
案例一：医院里的AI辅助诊断，反而让医生“瞎”了
某三甲医院引进了一套AI肺结节筛查系统，准确率宣称超过九成。放射科医生老周一开始还认真复核每一张片子，但半年下来，AI的判读几乎没出过错，老周逐渐养成了“AI说没事我就直接过”的习惯。有一次，系统把一张带有早期肺癌迹象的CT片标记为“未见异常”，老周扫了一眼结论就点了通过。三个月后，患者因剧烈咳嗽复诊，肿瘤已经明显扩大。复盘时发现，那张片子上病灶虽然小，但并非不可辨认——老周只是没有认真看。这不是老周一个人的问题。斯坦福大学的一项研究显示，放射科医生在使用AI辅助工具后，对AI判定为“正常”的影像，平均审阅时间缩短了30%，漏诊率反而比不用AI时更高。
案例二：网约车司机的“导航陷阱”
跑网约车的老李接了一单去郊区的活儿，导航提示走一条新修的高架路。老李心里犯嘀咕，他记得那条路前几天还在封闭施工，但转念一想，导航肯定实时更新了路况，于是照走不误。结果开到匝道口，迎面是一排红色水马，整条路根本没开通。老李只能倒车绕行，多花了二十分钟，乘客差点投诉。这种场景在网约车司机中非常普遍。平台为了提升效率给司机配了智能派单和导航系统，但系统偶尔会基于过时或错误的数据给出路线。司机们长期依赖系统指令，渐渐不再调用自己的本地经验——而恰恰是那些经验，能弥补数据的盲区。
案例三：量化交易员的“集体失灵”
2010年5月6日，美国股市在几分钟内暴跌近千点，上万亿美元市值瞬间蒸发，随后又迅速回升。后来的调查显示，触发这场“闪崩”的是一笔巨额的自动卖出订单，而其他高频交易算法检测到异常波动后，非但没有停止，反而跟着疯狂抛售——因为它们的模型设定就是“跟随市场信号”。更讽刺的是，在场盯着屏幕的交易员们并非完全没察觉到异常，但他们普遍犹豫了：是不是算法发现了什么我们不知道的消息？于是没人敢手动干预。这种“算法肯定比我们聪明”的集体心态，正是自动化偏差在金融领域的典型放大效应。
你可能会想：那是不是意味着我们不该信任任何自动化系统？恰恰相反。自动化偏差的危险不在于“信任”，而在于“不加批判的信任”。在低风险场景里，自动化偏差不仅无害，甚至是一种效率优化。比如你用输入法的自动纠错、用垃圾邮件过滤器、用拼写检查，这些系统出错了你也能轻易发现，损失几乎为零，没必要每次都用批判的眼光去审视。
但有两个场景你必须提高警惕。第一，系统出错后果严重且你无法轻易验证的领域——医疗诊断、自动驾驶、金融交易、法律文书生成。在这些场景里，你需要刻意给自己设置“摩擦点”，比如强制要求自己先独立判断，再参考系统输出，而不是反过来。第二，自动化系统正在接管你原本擅长的技能时。一个常年开手动挡的老司机，换到全自动驾驶的车上，可能反而比新手更容易出事——因为他的肌肉记忆和路感正在被系统“宠”坏。如果你发现自己已经很久没有亲自算过一笔账、没有亲手核对过一份报告、没有凭记忆走过一条路，那就该警惕了：你正在把自己的判断力交给算法托管。
关于自动化偏差，有两个流传很广的误解需要澄清。第一，“自动化偏差=自动化有害”。这是把洗澡水和孩子一起倒了。自动化本身极大提升了安全性和效率——航空业正是因为高度自动化才成为最安全的交通方式。问题从来不出在自动化上，而是出在人机分工的设计上。第二，“只要加强培训就能消除自动化偏差”。培训确实有帮助，但研究表明，即使是受过严格训练的专家，在时间压力大、认知负荷高的情况下，依然会表现出自动化偏差——因为它是人类认知的底层默认设置。真正有效的方案是双管齐下：既培训人的怀疑精神，也在系统设计上强制加入人工确认环节，比如银行的大额转账必须二次验证、飞机的自动驾驶解除必须伴随刺耳警报。
自动化偏差很少单独行动，它经常和另外两个认知偏差联手作案。一个是确认偏差——当你倾向于相信系统时，你会主动寻找支持系统结论的证据，而忽略那些矛盾信号。另一个是达克效应——能力越低的人越容易高估自己的判断力，也越容易盲从系统的权威，因为他们根本没有足够的专业知识去发现系统的漏洞。换句话说，自动化偏差在“半瓶水”的人身上最致命，真正的专家反而更愿意对系统保持健康的怀疑。
说到底，自动化偏差提醒我们的是一件古老的事：工具永远只是工具。哪怕它叫人工智能，哪怕它通过了图灵测试，它依然是一个概率模型，不是真理的化身。你要做的不是拒绝工具，而是永远保留那个“踩一脚刹车”的权力——因为当系统出错的那一刻，真正能救你的，不是算法，而是你还没来得及卸载的常识。
心智模型是"知道"，练成肌肉记忆才是"会"。去 AI 陪练用这个场景过一遍，或在训练营里找对应实战课。
🤖 AI 陪练 🗓️ 30 天训练营 🎨 生成海报