实践 · 智能体
验证与评测
怎样知道一个智能体做得好:用什么标准、由谁来查、怎样防止自说自话。
关注什么
我们怎样做。
- 壹
做与查分开
执行与检查由不同的一方完成,检查者不受执行者影响。
- 贰
标准先于实现
验收标准在动手之前写定,执行者不能修改。
- 叁
真实任务评测
用真实工作里的任务来评,而不只是公开的测试题。
- 肆
持续回归
每次更新都重新验证,变好要有证据,变差要能发现。
实践 · 智能体
怎样知道一个智能体做得好:用什么标准、由谁来查、怎样防止自说自话。
关注什么
做与查分开
执行与检查由不同的一方完成,检查者不受执行者影响。
标准先于实现
验收标准在动手之前写定,执行者不能修改。
真实任务评测
用真实工作里的任务来评,而不只是公开的测试题。
持续回归
每次更新都重新验证,变好要有证据,变差要能发现。