The Prompt Report: A Systematic Survey of Prompting Techniques 논문 리뷰 (프롬프팅 기법에 관해)

https://arxiv.org/abs/2406.06608

The Prompt Report: A Systematic Survey of Prompting Techniques

The Prompt Report: A Systematic Survey of Prompting Techniques

 

2024년 6월 6일자 논문

 

2.2.1 ICL

여기서 사실 learnig은 오해의 소지가 있는 단어 

Few-Shot Prompting

 

2.4 Prompt Engineering

프롬프트를 자동으로 최적화하는 데 사용되는 프롬프트 엔지니어링 기법

프롬프트 엔지니어링 기법의 범위가 프롬프팅 기법보다 훨씬 작기 때문에, 우리는 그래디언트 업데이트를 사용하는 몇 가지 기법을 논의합니다.

메타 프롬프팅은 LLM을 프롬프팅하여 프롬프트나 프롬프트 템플릿을 생성하거나 개선하는 과정

https://arxiv.org/pdf/2311.05661

 

AutoPrompt(Shin et al., 2020b)는 고정된 LLM과 일부 "트리거 토큰"을 포함하는 프롬프트 템플릿을 사용하며, 이 토큰의 값은 학습 시 역전파를 통해 업데이트 이는 소프트 프롬프팅의 한 버전

 

Automatic Prompt Engineer (APE) (Zhou et al., 2022b)는 예시 세트를 사용하여 ZeroShot instruction 프롬프트를 생성

여러 가능한 프롬프트를 생성하고 점수를 매긴 다음, 최상의 프롬프트의 변형(예: 프롬프트 paraphrasing 사용)을 만든다. 이 과정을 원하는 결과에 도달할 때까지 반복

 

Gradient-free Instructional Prompt Search (GrIPS) (Prasad et al., 2023)는 APE와 유사하지만, 시작 프롬프트의 변형을 만들기 위해 삭제, 추가, 교환, paraphrasing 등 더 복잡한 연산 세트를 사용

 

Prompt Optimization with Textual Gradients (ProTeGi) (Pryzant et al., 2023)는 다단계 과정을 통해 프롬프트 템플릿을 개선하는 독특한 프롬프트 엔지니어링 접근 방식. 먼저 입력 배치를 템플릿에 통과시킨 다음, 출력, 정답, 프롬프트를 다른 프롬프트에 전달하여 원래 프롬프트를 비평 이러한 비평을 바탕으로 새로운 프롬프트를 생성한 다음 밴딧 알고리즘(Gabillon et al., 2011)을 사용하여 하나를 선택 ProTeGi는 APE와 GRIPS 같은 방법들보다 개선된 결과

 

RLPrompt (Deng et al., 2022)는 고정된 LLM에 고정되지 않은 모듈을 추가하여 사용 이 LLM을 사용하여 프롬프트 템플릿을 생성하고, 데이터셋에서 템플릿에 점수를 매기며, Soft Q-Learning (Guo et al., 2022)을 사용하여 고정되지 않은 모듈을 업데이트. 이 방법은 종종 문법적으로 의미 없는 텍스트를 최적의 프롬프트 템플릿으로 선택

 

Dialogue-comprised Policy-gradient-based Discrete Prompt Optimization (DP2O) (Li et al., 2023b)는 아마도 가장 복잡한 프롬프트 엔지니어링 기법

이 기법은 강화학습, 맞춤형 프롬프트 점수 매기기 함수, 그리고 프롬프트를 구성하기 위한 LLM과의 대화를 포함

https://arxiv.org/abs/2308.07272

Dialogue for Prompting: a Policy-Gradient-Based Discrete Prompt Generation for Few-shot Learning

3.2 Multimodal

 

3.2.1 Image Prompting

Prompt Modifiers

Negative Prompting

 

3.2.1.1 Multimodal In-Context Learning

Paired-Image Prompting

Image-as-Text Prompting

 

3.2.1.2 Multimodal Chain-of-Thought

Duty Distinct Chain-of-Thought (DDCoT)

Multimodal Graph-of-Thought

Chain-of-Images (CoI)

 

3.2.2 Audio Prompting

 

3.2.3 Video Prompting

 

3.2.3.1 Video Generation Techniques

Runway. 2023. Gen-2 prompt tips.

https://help.runwayml.com/hc/en-us/articles/17329337959699-Gen-2-prompt-tips

 

3.2.5 3D Prompting

 

4.1 agents

4.1.1 Tool Use Agents

Modular Reasoning, Knowledge, and Language (MRKL) System

 

Self-Correcting with Tool-Interactive Critiquing (CRITIC)

It first generates a response to the prompt, with no external calls. Then, the same LLM criticizes this response for possible errors. Finally, it uses tools (e.g. Internet search or a code interpreter) accordingly to verify or amend parts of the response.

https://openreview.net/pdf?id=Sx038qxjek

 

4.1.2 Code-Generation Agents

 

Program-aided Language Model (PAL)

해결하고자할 문제를 code로(python)으로 translate시켜서

 

Tool-Integrated Reasoning Agent (ToRA)

is similar to PAL, but instead of a single code generation step, it interleaves code and reasoning steps for as long as necessary to solve the problem.

https://openreview.net/pdf?id=Ep0TtjVoap

 

TaskWeaver

https://arxiv.org/abs/2311.17541

TaskWeaver: A Code-First Agent Framework

 

 

4.1.3 Observation-Based Agents

 

Reasoning and Acting (ReAct)

 

Reflexion

 

4.1.3.1 Lifelong Learning Agents

 

Voyager

http://arxiv.org/abs/2305.16291

Ghost in the Minecraft (GITM)

https://arxiv.org/pdf/2305.17144

 

4.1.4 Retrieval Augmented Generation (RAG)

 

Verify-and-Edit

https://aclanthology.org/2023.acl-long.320.pdf

 

Iterative Retrieval Augmentation

 

Forward-Looking Active REtrieval augmented generation (FLARE) (Jiang et al., 2023)

 

Imitate, Retrieve, Paraphrase (IRP) (Balepur et al., 2023)

https://aclanthology.org/2023.emnlp-main.729.pdf