无需人类反馈即可对齐！田渊栋团队新作RLCD：无害型、有益性、大纲写作全面超越基线模型

新智元报道编辑：LRS 省去人工标注成本，用大模型自动生成正面、负面提示，在小参数量模型上表现更佳！随着大模型的能力越来越强，如何低成本地让模型的输出更符合人类的偏好以及社会的公共价值观，就显得尤为重要。基于人类反馈的强化学习（RLHF）在对齐语言模型上取得了非常好的效果，可以让预训练模型具有