强化学习可能与伦理不相容

文章认为强化学习与伦理可能根本不相容，问题比奖励函数难以规范更根本：RL 对伦理做了假设，限制了它能生成的目标范围，若假设错误，无论奖励函数如何，RL 训练的 AI 都会失准。作者提出一个伦理假说——最伦理的行动是把当前每个人的偏好函数加总后取最高分——并称其"大概够好"且与迄今所有伦理观察一致。