一个改进 RLHF 的建议

作者建议 RLHF 训练时向模型如实说明任务中约 70% 可解、30% 不可解，让模型为每个任务给出不可解概率，训练后公布答案并讨论分歧，帮助发现标注错误的任务可获得比正常成功更高的评分。评分由另一家公司的前沿 LLM 在 RLHF 轮次结束后完成，部分答案、对不可解任务的部分进展、带推理的正确判定、正确的校准与坚持均可得分；该方案不解决对齐问题，作者认为争取时间很重要。