mind search 논문리뷰

mindsearch 논문리뷰
최근의 recent work는 검색엔진을 LLM과 통합시킬려는 시도함
하지만 3가지 문제를 직면

(1) 복잡한 request은 검색 엔진에서 한 번에 정확하고 완전하게 retrieve되기 어렵다 (e.g 19세기 러시아 문학이 20세기 프랑스 철학에 미친 영향)

(2) 통합해야될 관련 정보가 대량의 노이즈와 함께 여러 웹 페이지에 분산되어 있다.

(3) 긴 contents을 가진 많은 웹 페이지는 LLM의 최대 컨텍스트 길이를 초과할 수 있다 (위키피디아처럼 길면 한번에 분석 x)

https://arxiv.org/pdf/2407.20183

WebSearcher

WebPlanner

기존의 연구에는 검색 과정을 RAG task로 보는 경우도 있지만 웹 기반 정보 검색의 깊이와 복잡성을 superficial 피상적으로 engagement 함으로 3가지 major challenges를 face

 

1) 현실 세계의 문제들은 종종 관련 정보를 검색하기 전에 질문에 대한 심층적인 분석과 적절한 decomposition가 필요한데, 이는 한 번에 웹 페이지를 검색하는 것으로는 불가능

(2) 검색된 웹 페이지의 압도적인 양과 방대한 정보 노이즈는 LLM이 효율적으로 정보를 통합하는 데 큰 어려움

(3) 웹 검색 콘텐츠의 급속한 증가로 인해 LLM의 최대 컨텍스트 길이를 쉽게 초과할 수 있어, 정보 통합 성능을 더욱 저하

 

WebPlanner는 먼저 그래프에 대한 reasoning을 통해 사용자 질문을 순차적 또는 병렬 검색 작업으로 decompose하고 검색 피드백을 바탕으로 다음 단계를 결정(2.1절).

WebSearcher는 쿼리를 수행하고 인터넷에서 hieraichial정보 retrieval을 수행하여 하위 질문(sub-question)에 답합니다 (2.2절).

또한 2.3절에서는 multi agent 설계의 범위 내에서 context 관리에 대해 논의합니다.