可靠,比惊艳更重要
智能的进步常常以演示的方式出现:一段令人惊叹的对话,一个几分钟生成的应用。演示展示的是上限——在最好的情况下,它能做到什么。
但工作需要的是下限。
托付,取决于下限
一位同事偶尔表现惊艳、却时常出错,你很难把重要的事交给他;另一位同事表现平稳、每次都按约定交付、出了问题能说清原因,你会放心把越来越多的事交给他。
智能也是一样。要让智能真正承担工作,问题不在于它最好的时候有多好,而在于它最差的时候有多差、出了错能不能被发现、能不能被纠正。
可靠从哪里来
我们认为,可靠的智能有三个特征:
- 可验证。开始前约定什么算完成,交付时逐项对照,而不是靠一句「我做完了」。
- 可追溯。每一步做了什么、依据是什么,都有记录,出了问题可以复盘。
- 知道边界。清楚说明自己能做什么、不能做什么,在需要人判断的地方停下来。
这些特征都不来自模型本身,而来自围绕模型建立的规矩与工程方法。模型决定了能力的上限,规矩决定了可靠的下限。
把可靠放在能力之前
所以在乙和机器小乙的构建中,我们把可靠性放在能力之前:宁可少做一件事,也要把做的每件事做得可以验证、可以追溯。
智能化的进程很长。最终能留下来的,不会是最惊艳的演示,而是那些可以被托付的智能。
作者与致谢
致谢
本文由数与理撰写,写作中使用了 AI 辅助。例证引自Dell'Acqua 等《Navigating the Jagged Technological Frontier》(2023)。