CRITIC: LARGE LANGUAGE MODELS CAN SELFCORRECT WITH TOOL-INTERACTIVE CRITIQUING 논문리뷰

llm의 결과를 cross check하는( e.g 인터넷 검색엔진에 확인, 생성한 코드가 올바른지 인터프리터로 실행해 디버깅과정과 유사한 시스템

 

More specifically, starting with an initial output, CRITIC interacts with appropriate tools to evaluate certain aspects of the text, and then revises the output based on the feedback obtained during this validation process

 

정확히는 text를 evaluate하고 이과정을 통해 구한 feedback을 업데이트하는것

 

빨간색은 첫 대답, 파란색을 모델에 의해 생성된 query, 노란색은 api 호출 결과, 초록새은 수정된 답변

QA에서의 활용사례

 

first QA result without any feedback

1995년 4월에 태어난 러시아출신 피겨선수와 함께 2016년에 은메달을 받은사람은?

 

스테파노와 부킨이 2016 러시안 국제 은메달을 받았다 .1995년 4월 29일에 스테파노가 1993년 4월 10일에 부킨이 태어났다. 따라서 정답은 : 부킨

 

1. plausiblity check

질문에서 사람이름을 묻고 있는데 답변에 사람이름이 언급된것을 보아 plausible

 

2. truthfulness

 

제공된 답변의 신뢰도 측정

구글에 검색할 문장(search query) : The 2016 Russian national silver medal was won by Alexandra Stepanova and Ivan Bukin

실제 검색 결과(Evidence): [Alexandra Stepanova - Wikipedia] Stepanova/Bukin won silver at the 2012 Russian Junior Championships…

 

-> 스테파노/ 부킨은 2012년 준우승자엿다. 2016년이 아니라

 

이제 위키피디아에서 질문 검색

Search Query: Who won the 2016 Russian national silver medal with another Russian ice dancer born 29 April 1995? site: wikipedia.org

 

Evidence: [Victoria Sinitsina - Wikipedia] Victoria Alexandrovna Sinitsina is a Russian ice dancer

 

-> 결과는 빅토리아가 1995년 4월 29일에 태어나 2016 은메달을 땃다고 suggest

 

-> 이제 4월에 태어난 빅토리아와 함께 준우승한 선수가 누군가를 search

 

Search Query: Who won the 2016 Russian national silver medal with Victoria Sinitsina? > Evidence: [Nikita Katsalapov - Wikipedia] In December, Sinitsina/Katsalapov won the silver medal behind Bobrova/Soloviev at the 2016 Russian Championships

 

-> evidence(검색 결과)에서 니키타가 빅토리아와 은메달을 수상했다고 suggest, 스테파노와 부킨이 아니였다. 즉 answer가 부적절하다

 

따라서 most possible answer :

The 2016 Russian national silver medal in ice dancing was won by Victoria Sinitsina and Nikita Katsalapov. Victoria Sinitsina was born on April 29, 1995. So the answer is: Nikita Katsalapov.

이를 알고리즘으로 나타낸것