在文明的长河中，人类从未停止创造工具。
从石器到蒸汽机，从计算机到互联网，工具作为人类能力的延伸，其行为向来是确定、可预测的。人们信任一把锤子，是因为知道它只会砸向钉子，而不会自己突然飞起来砸我们的脚。
人工智能的出现，正在颠覆这一古老的信任范式。
AI不是简单的工具，它正在成为我们的“队友”——自动驾驶汽车的辅助驾驶系统、医疗诊断、金融投资的顾问，甚至战场上的战友。这些队友拥有自主性、学习能力，甚至具备某种自身的“意图”。它们的行为不再是简单的输入-输出，而是基于海量数据、复杂算法和概率预测的结果。
这就带来了一个前所未有的信任困境：我们应该多大程度上信任一个可能犯错、且其决策过程如同“黑箱”的AI队友？或者，我们是否应该因其潜在的风险而选择拒绝它，从而错失技术带来的巨大福祉？
答案当然不会是非此即彼。
以自动驾驶汽车为例，驾驶员如果过度信任系统，可能会在系统失效时无法及时接管，导致车毁人亡；反之，如果太过不信任，时刻紧绷神经准备接管，那么自动驾驶的意义何在？这便是当前人机协作面临的核心矛盾之一。因此，有必要重新界定人与AI之间的信任关系，本文倡导一种精确、动态、与AI能力相匹配的“校准信任”，它将成为人机对齐问题的核心。
超越“信任”与“不信任”：校准信任的内涵
“校准信任”（Calibrated Trust）这一概念源自人因工程学和认知心理学，其核心思想是：人类对自动化系统的信任程度，应与该系统在特定情境下的实际能力水平相匹配，二者呈正向相关关系。有学者据此绘出了以下示意图。
图1 校准信任，来源：Lee & See(2004)
根据图1，当信任水平与自动化系统能力不相匹配时，存在两种情况：
(1) 过度信任：当用户的信任超过了系统的实际能力时，便会产生对AI的“滥用”(misuse)。这种情况下，用户会放松警惕，减少必要的监督，甚至将系统用于其设计能力范围之外的任务。如前所述，与高度可靠的自动化系统互动，用户容易产生过度依赖，一旦系统出现罕见但致命的故障，后果往往是灾难性的。
(2) 信任不足：当用户的信任低于系统的实际能力时，便会产生“弃用”(disuse)。用户会频繁地、不必要地接管系统控制权，或干脆拒绝使用该系统，导致其效能无法发挥。例如，一个经验丰富的外科医生可能因为不信任AI辅助诊断系统的建议，而错失了一个更优的手术方案。
由此看来，校准信任犹如从不信任到信任这个光谱上的“黄金分割点”。一个拥有校准信任的用户，会清晰地知道：
(1) 何时信任：在AI擅长的领域，如高速数据处理、模式识别、重复性劳动，愿意将控制权交给AI，并充分发挥其优势。
(2) 何时不信任：在AI的短板或高风险情境下，如遭遇未曾训练过的极端场景、涉及复杂伦理判断时，会保持警惕，准备接管或进行干预。
(3) 信任到何种程度：理解AI决策的置信度。当AI给出一个高置信度的建议时，会倾向于采纳；当AI表现出不确定性或犹豫时，会将其视为一个需要验证的假设，而非直接的指令。
实现这一信任模式，可以让人类从被动的操作者转变为主动的监督者和决策者，将AI从被动的工具提升为主动的信息提供者和任务执行者。人成为AI能力的定义者和使用者，AI则是人类意图的放大器。二者形成了一种优势互补、风险共担的共生关系。
构建校准信任的基石：提升双向透明度
如何才能实现更加精细的信任校准？基于信任理论，答案在于“透明度”。
这里的透明度，并非简单地公开大模型源代码或提供一份冗长的AI技术手册，而是一种更深层次的、双向的沟通与理解，即“双向透明度”。
图2 双向透明度模型示意
这一模型包含两个相辅相成的维度：
AI代理对人的透明度：洞悉AI的世界观（AI Agent-to-Human Transparency）
这一维度由人类指向AI代理，要求AI能够以人类可理解的方式，清晰地展示和解释其“世界观”和决策逻辑，具体包括四个核心模型：
(1) 意图模型：“我为什么这么做？”——AI需要向人类传达其最终目标和动机。例如，一个自动驾驶汽车在紧急避让时，应能传达：“我的首要目标是保护车内乘员安全，其次才是遵守交通规则，因此我选择了压实线避让。”这让用户理解AI的价值排序，从而预测其行为。
(2) 任务模型：“我正在做什么，以及我打算怎么做？”——AI需要展示其对当前任务的理解、分解和执行计划。这就像一个项目经理向团队展示项目甘特图，让每个人都清楚进度、里程碑事件和下一步行动。更重要的是，任务模型必须包含AI对自身能力的认知，即“我知道我能做什么，不能做什么”。例如，一个清洁机器人应能识别出地毯上的液体污渍超出了它的清洁能力，并主动请求人类帮助。
(3) 分析模型：“我是如何得出这个结论的？”——这是解释“黑箱”的关键。AI需要提供其决策的依据和推理过程。这通常不需要展示复杂的算法，而是通过可视化、类比、突出关键特征等方式，让人类理解其结论的来源。例如，AI医疗影像系统在标注病灶时，可以同时高亮显示它所依据的影像特征（如形状、密度、边缘），并给出与历史病例的相似度对比。
(4) 环境模型：“我看到了什么，以及我认为环境如何？”——AI需要分享它对周围环境的感知和理解。这包括对其他智能体（人、车、其他AI代理）的识别和预测，以及对环境约束（如天气、路况、信号强度）的评估。这能让人类判断AI的感知是否全面、准确，是否存在“盲点”。
当AI代理能够通过这四个模型向人类“敞开心扉”时，人类监督者就不再是面对一个黑箱，而是在与一个“行为可理解”的队友协作。这种透明度，是建立校准信任的信息基础。
2. AI代理识人：让AI“读懂人心”（AI Agent-of-Human Transparency）
人与AI代理之间要有良好的协作，成为真正的团队，仅仅有人类了解AI代理是不够的，还需要AI代理向人类展现出它对人类处境的理解。这无疑是更具革命性的一环。它要求AI代理不仅要向外表达，更要向内感知，理解其人类队友的状态、分工和意图。
(1) 理解人类状态：AI需要监测并理解人类的认知、情感和生理状态。通过眼动追踪、脑电波、心率变化、语音语调、面部表情等多模态传感器，AI可以判断人类是否处于疲劳、压力、困惑、超负荷或专注的状态。就像一个体贴的队友，它能在你疲惫时主动分担更多任务，在你困惑时提供更详细的解释。
(2) 理解社会分工：AI需要将人类的状态和意图与当前情境相结合，判断人类的行为是否符合任务分工需求。例如，在驾驶任务中，如果AI检测到驾驶员正在分心看手机，而前方车辆正在急刹，它会判断出“驾驶员当前的行为不符合安全驾驶的需求”，从而发出更强烈的警报甚至主动干预。
(3) 理解人类意图：AI需要推断人类的短期目标和潜在意图。这不仅仅是执行语音指令，而是理解指令背后的“为什么”，这需要达到默契的层次。例如，当用户对智能家居说“我有点冷”，AI不应只是简单地调高一度温度，而是可以结合时间、用户习惯和当前室温，推断出用户可能是准备休息了，从而一并调暗灯光、播放舒缓音乐。
当AI代理能够“读懂”人类时，它就从一个被动的执行者，进化为一个主动的协作者。它能够预测人类的需求，适应人类的变化，甚至在人类犯错时提供及时的兜底。这种深度的相互理解，使得人机之间的信任不再是单向的“我信任你”，而是双向的“我们互相信任，并且都懂对方”。这才是校准信任的最高境界。
构建校准信任的路径与团队建议
要让人-AI之间普遍建立起校准信任，需要技术开发者和人-AI团队的共同努力。针对这两个方面，我们提出以下参考意见：
1. 对技术开发者与设计师的建议：
(1) 将透明度作为核心设计原则：在系统架构的最初阶段，就应内置AI代理 世界观的四个模型。不能等系统开发完成后再去解释它，而要让“可解释性”和“可感知性”成为其与生俱来的基因。
(2) 开发情境化的解释界面：要根据用户的角色、专业水平和当前任务，提供恰到好处的解释，实现高度的用户友好性。对专家用户，可以提供更深入的分析模型细节；对普通用户，则用更直观的类比和可视化。解释的时机也至关重要，应在用户需要时（如系统做出关键决策前、或系统表现出不确定性时）主动提供，而非被动等待查询。
(3) 构建鲁棒的人类状态感知模块：投资于多模态生理和行为感知技术，并开发能够准确解读这些信号的算法。同时，要将用户隐私和数据安全置于最高优先级，确保所有关于人类状态的数据收集和使用都是透明、可控且符合伦理的。
(4) 设计可协商与可调整的交互模式：不要将AI的决策视为最终命令。提供清晰的接口，允许人类轻松地调整自动化等级、保留否决AI建议的权利，或共同制定任务计划。这种“控制感”是建立信任的重要心理基础。
2. 对人-AI管理团队的建议：
(1) 将人-AI团队训练制度化：训练是建立校准信任最有效的方法之一。这种训练不应局限于如何操作，而应聚焦于如何协作。训练内容应包括：
理论学习：让用户理解AI的意图模型、任务模型、能力边界和潜在失效模式。
模拟演练：在安全的虚拟环境中，让用户经历各种正常、边缘甚至失效场景，学习如何解读AI的信号，何时信任、何时接管、如何进行有效干预。特别要设计一些“AI不可靠”的情境，以克服用户的过度信任。
在岗培训与复盘：在实际任务后，组织人-AI团队进行复盘，讨论AI的表现、用户的决策以及二者之间的配合，持续优化协作策略。
(2) 提升AI素养：在组织内部普及AI知识，让每个与AI协作的员工都具备基本的批判性思维能力。他们应该明白，AI是强大的工具，但不是万能的，同时是有风险的。鼓励员工对AI的输出保持批判思维，并建立清晰的渠道来报告AI的异常行为。
(3) 建立信任反馈闭环：鼓励用户记录和分享他们在与AI协作过程中的信任体验。这些反馈对于开发者迭代优化系统、对于管理者调整培训策略都至关重要，能够形成一个“设计-部署-反馈-优化”的持续改进循环。
结语
无论你接受还是不接受，人-AI之间的关系，正在经历一场深刻的范式变革。
人类正在通向一个人与机器作为平等队友的未来，需要我们与AI进行深度的相互理解和校准的信任，我们必须拥抱校准信任的智慧，不仅需要在技术上实现“双向透明度”，更要在文化、教育和制度层面，为这种新型关系铺平道路。这无疑是一项艰巨的系统工程，但它将回报我们一个更安全、更高效的人机共生时代。
来源：36kr
| 
15
发表于 2025-9-22 10:10:02