이진욱님의 블로그

https://arxiv.org/pdf/2210.0362  Alfworld 벤치마크 문제를 해결하기 위한 ReAct 예시인데일단 어떤 task를 solve 하기 위해 우리는 환경으로부터 observation을 받아 action(following the specific policy)을 생성하는데 이떄 context가 다음과 같다. Learning a policy is challenging when the mapping c → a is highly implicit and requires extensive computation ReAcT는 이 a ( agent’s action space = 이 경우 space of language)를 augment하는 것 obeservation이나 외부 환경에 이 action..

mindsearch 논문리뷰최근의 recent work는 검색엔진을 LLM과 통합시킬려는 시도함하지만 3가지 문제를 직면(1) 복잡한 request은 검색 엔진에서 한 번에 정확하고 완전하게 retrieve되기 어렵다 (e.g 19세기 러시아 문학이 20세기 프랑스 철학에 미친 영향)(2) 통합해야될 관련 정보가 대량의 노이즈와 함께 여러 웹 페이지에 분산되어 있다.(3) 긴 contents을 가진 많은 웹 페이지는 LLM의 최대 컨텍스트 길이를 초과할 수 있다 (위키피디아처럼 길면 한번에 분석 x)https://arxiv.org/pdf/2407.20183WebSearcherWebPlanner기존의 연구에는 검색 과정을 RAG task로 보는 경우도 있지만 웹 기반 정보 검색의 깊이와 복잡성을 super..

Self-Evaluation Guided Beam Search for Reasoninghttps://arxiv.org/pdf/2305.00633

llm의 결과를 cross check하는( e.g 인터넷 검색엔진에 확인, 생성한 코드가 올바른지 인터프리터로 실행해 디버깅과정과 유사한 시스템 More specifically, starting with an initial output, CRITIC interacts with appropriate tools to evaluate certain aspects of the text, and then revises the output based on the feedback obtained during this validation process 정확히는 text를 evaluate하고 이과정을 통해 구한 feedback을 업데이트하는것 QA에서의 활용사례 first QA result without any feed..

https://arxiv.org/pdf/2305.14325

https://arxiv.org/pdf/2305.19118

https://arxiv.org/pdf/2308.08155 가장 큰 특징 : customizable, conversable, conversation programming1.introduction 세가지 이유1) 지금의 LLM은 the ability to incorporate feedback을 가짐2) single LLM can exhibit a broad range of capabilities (특히 정확한 프롬프트와 inference환경으로 configured일때), conversations between differently configured agents can help combine these broad LLM capabilities in a modular and complementary mann..

https://arxiv.org/pdf/2308.00352Solutions to more complex tasks, however, are complicated through logic inconsistencies due to cascading hallucinations caused by naively chaining LLMs 기존의 multi-agent의 할루시네이션으로 인한 LLM을 연결할 때의 생기는 inconsistency 문제를 해소하기 위한 metagpt 프레임워크  아래의 SOP를 prompt로 바꿔 streamlined workflow 제공 thus allowing agents with human-like domain expertise to verify intermediate results..

https://arxiv.org/pdf/2407.18219v1RISE poses fine-tuning for a single-turn prompt as solving a multi-turn Markov decision process (MDP)SINGLE

self-correcthttps://arxiv.org/abs/2211.00053https://arxiv.org/abs/2406.01297 When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMsSelf-correction is an approach to improving responses from large language models (LLMs) by refining the responses using LLMs during inference. Prior work has proposed various self-correction frameworks using different sources ..