GPTSwarm 논문리뷰 (Language Agents as Optimizable Graph)

https://arxiv.org/pdf/2402.16823

노드는 오퍼레이션(LLM , tool 사용)

edge는 에이젼트간의 커뮤니케이션

+ The nodes implement functions to process multimodal data or query LLMs, and the edges describe the information flow between operations

 

2. GPTSwarm

2.1. Language Agents as Graphs

2.2. Graph Definition

input x and context information z from its predecessor nodes by applying a computational routine f

 

2.3. Edge Optimization

 

 

2.3.1. PROBLEM REFORMULATION

노드나 엣지의 pruning을 통한 DAG 최적화은 이미 존재

Due to the combinatorial complexity induced by DAGs, 최근 연구 continuous optimization approach에 초점

not differentiable 즉 미분불가능(LLM의 토큰화로 유틸리티 함수가)하기 떄문에 Therefore, we reformulate our edge optimization as a continuous optimization problem.

Instead of optimizing in a discrete space, our approach is to optimize over a continuum of probabilistic distributions, each representing a distribution over the feasible DAGs

 

2.3.2. SOLUTION PARAMETERIZATION

2.3.3. OPTIMIZATION ALGORITHM

그래디언트 예시 score matching 에서의 gradient 추정을 보자면 Score 는 한마디로 정리하면 데이터의 로그 분포 log(p(x)) 의 gradient 를 의미한다

 

여기서는 모든 샘플에 대해 유틸리티 추정값과 로그 확률 그래디언트의 곱을 평균 내어 최종 그래디언트 추정값을 구함

2.4. Node Optimization

노드 오퍼레이션 =  querying an LLM, using a tool, calling an API

2.5. General Applicability