https://arxiv.org/pdf/2401.10020
요약 : self-alignment, AI 피드백, DPO pair dataset 생성 iteratively
RM의 preference data의 학습
bottlenecked by human performance level
(2024 초기논문 관계상)
또한 이 RM은 frozen -> policy(LLM)의 학습중 cannot improve
DPO가 RM이 필요하지는 않지만 pair dataset을 준비하기 위해 LLM-as-a-Judge prompting을 통해 스스로 reward 즉 pair 데이터셋을 생성
즉 프롬프트에 답변을 llm이 생성하고 이 llm을 사용해 evaluate해 reward를 매긴후 select한 데이터셋을 DPO로 사용하는 구조
또한 policy, reward가 하나임으로 the reward model itself가 향상가능하다는 점 훈련을 통해
