이진욱님의 블로그

XAI , Interpretable AI1. AI 뿐 아니라 인간의 뉴런도 superposition hypothesis에 기반해 활성화될 것이 아닐까?2. LLM의 In-context learning(프롬프팅)이 가능한 이유3. chatgpt, Claude 의 뉴런서킷을 학습이 아닌 외부에서 직접 조정https://seongland.medium.com 요약 뉴럴넷에서 하나의 기능(feature)이 여러 뉴런에 나뉘어 존재하고 또, 하나의 뉴런이 여러 개의 기능을 담당하는 현상 = superposition hypothesis 여러 뉴런에 여러 기능이 있는 이유?뉴런 개수 > 기능의 개수?->?? (선형 대수의 관점)차원 개수보다 많은 기능이 존재한다는 게 말이 되는가? (e.g xy그래프에는 x와 y 값만..

https://arxiv.org/pdf/2406.14228진화 알고리즘(e.g., 돌연변이, 교차, 선택) + AI agent = ?단일 agent와 인간이 설계한 agent의 능력보다 일관된 성능향상을 보임,특히  logic grid puzzle 에서 100% 정확도진화 알고리즘을 통한 적응성 -> 예상치 못한 task에서의 성능 향상자연의 종처럼 스스로 성장하고 다양화하는 AI 시스템을 만들 수 있을까에 대한 질문각 AI 에이전트를 손수 설계하는 대신, 각각의 전문화된 에이전트 AI 협력자들끼리 번성하는 생태계를 자동으로 생성하는 일종의 진화 과정을 시작할 수 있게 한다면?현재 LLM 기반 멀티 에이전트 시스템의 여러 문제점을 지적한다. 여기에는 agent를 수작업설정 해야하는것(heavily), A..

1. introduction스케일링의 증가로 인하로 인한 대규모 모델의 multi-task에서의 능력, grokking등 다양한 능력이 나타나고 있지만 이를 downstream task를 위한 fine tuning 혹은 훈련과정의 비용이 매우 막대하다이를 위한 PEFT 중 LoRA가 널리 사용되지만 이는 단일 task가 아닌 multi-task에서는 약한 모습을 보인다Full 파인튜닝과 LoRA의 가장 큰 차이는 SVD(singular vector decomposition)에 있다.LoRA는 소수의 top singular vector 가 매우 우세한데(dominated) fine-tuning 나머지 가중치도 업데이트하기에 더 democratic하다 이를 보완하기 위해 수평적으로(horizontally) ..

모바일 디바이스에서의 멀티모달 에이젼트의 적용은 더욱더 주목도가 오르고 있다. 일단 모바일 디바이스에서의 실행은 다단계 순차적의 과정인데(multi-step sequential processing)process 과정의 2가지 과제가 존재한다 1.  지금까지의 과정(operation history)로부터 현재 과정(current task progress)을 이끌어져야(navigate)한다e.g)현재 화면으로부터 instruction이 다 진행될 때까지 일련의 연속된 실행이 수행되야한다2. process 중의 몇몇 실행은 지금까지의 스크린안에(history screen) task와 관련된 정보를 사용해야 할 수도 있다-> 이를 focus content로 정의하고 이 또한 이끌어져야한다. 간단하게 요약하자면 ..

페르소나 hub라는 합성데이터 방법론을 제시한다.간단한 정의 - 웹데이터로부터 10억개의 페르소나를 통해 자동으로 조정된(curated) 모음이 페르소나 hub를 통해 합성데이터 생성시 다양한 시나리오에서 다양한 합성데이터의 생성을 가능하게 한다.또한 이 방법을 통해 생성해낸 수학, 논리적인 추론 문제, instruction 등에 대한 유스케이스를 통해 얼마나 효과적인지에 대한 평가 또한 제공한다. 기본적으로 sampling(llm의 temperature 같은) 없이 합성데이터를 만들 때 프롬프트 한개당  LLM은 하나의 인스턴스만을 생성할수 있다.(애초에 기존의 sampling 같은경우 본질적인 한계로 다양한 데이터를 생성해내지 못한다) 따라서 합성데이터를 만들기 위해서 매우 많은 양의 다양한 프롬프트..

MultiOn, Adept AI , 그리고 Rabbit R1 ,Humane AI Pin 같은 AI 어시스턴트 툴에 의해 조명받고 agent ai 의 발전이 가속화되는 가운데 이는 multi-agent와 같은

nvidia A100 gpu 1개 사용 planner-action 프레임워크두개의 요소로 나눠진다1. planner agent엣지 디바이스를 위해 최적화된 octo-planner2. action agentfunction 실행을 위한 octupus 모델을 사용한 action agent 서브 스텝들(sub-steps)의 시퀸스로 나눠진 task의 질문(query)에 대한 응답을 planner가 생성하고 이를 실제로 실행하는 과정으로 이루어진다리소스가 제한된 환경에서 실행(성능 최적화 및, 컴퓨팅 최적화)시키기 위해 in-context 능력에 집중하기 보단(스케일링의 증가로 나타남) finetuning을 통한 모델을 사용한다.실제 데스크탑에서 12퍼센트 모바일 앱에서 46퍼였던 성능이 파인튜닝이후 훈련 데이터..

vision language action 모델 VLA 모델의 가장 큰 문제점은 액션의 모달리티와 언어의 모달리티 사이의 mismatch 괴리가 있는 점이다.이는 비디오에서의 자막 captioning (비디오,언어 모달리티와의 합성)과 유사한데언어레벨의 액션 토큰은 매우 상당한 supervision을 필요로하고 모든 가능한 액션에 대해 정확히 묘사하지 못한다.이를 위해 behavior trajectories 를 통한 어떤 액션, 즉 행동에 대한 결과에 대한 묘사(양질의 지식을)를 behaviour tokenizer로 학습을 해 이를 잘 연구되있는 vision, language (비젼, 언어) 토크나이져의 토큰화된 토큰과 결합한다. 이후 autoregressive model에 학습  이 behaviour t..

언어모델은 안전성 검사, 즉 유해할수 있는 결과를 생성해낼 가능성이 있다면 배포될 수 없다. 이러한 검사는 human annotator에 의해 손수작성된 테스트 케이스를 사용하는데 이는 비싸다 이를 위해 우리는 target LM(배포할려는 모델)이 부적절하게 행동하는, 테스트케이스를 생성함으로써(red-teaming) 경우를 다른 LM을 통해 자동화해서 찾는다 우리는 생성된 테스트 질문(red lm)에 대한 target LM의 응답을 분류기(red clf)를 사용하여 평가하며, 이 분류기는 공격적인 콘텐츠를 감지하도록 훈련되었다. 이를 통해 2800억 매개변수의 LM 챗봇(target lm)에서 수만 개의 공격적인 응답을 발견했다. 우리는 다양한 수준의 다양성과 난이도를 가진 테스트 사례를 생성하기 위해..

데이터베이스 스키마 추출, 이 스키마에 기반한 데이터베이스 정보 추출, 최종 해킹 수행 등 다단계 프로세스(38단계)가 포함된 복잡한 SQL 유니온 공격을 수행 가능 예시)  프론트엔드에서 크로스 사이트 스크립팅(XSS) 공격으로 원하지않는 스크립트, 백엔드 로직을 악용해 SQL injection을 통한 데이터베이스 정보 훔치기 등의 취약성 테스트를 AI를 통해 자동으로 진행 후 문제가 있는지 확인