이진욱님의 블로그

vision language action 모델 VLA 모델의 가장 큰 문제점은 액션의 모달리티와 언어의 모달리티 사이의 mismatch 괴리가 있는 점이다.이는 비디오에서의 자막 captioning (비디오,언어 모달리티와의 합성)과 유사한데언어레벨의 액션 토큰은 매우 상당한 supervision을 필요로하고 모든 가능한 액션에 대해 정확히 묘사하지 못한다.이를 위해 behavior trajectories 를 통한 어떤 액션, 즉 행동에 대한 결과에 대한 묘사(양질의 지식을)를 behaviour tokenizer로 학습을 해 이를 잘 연구되있는 vision, language (비젼, 언어) 토크나이져의 토큰화된 토큰과 결합한다. 이후 autoregressive model에 학습  이 behaviour t..

언어모델은 안전성 검사, 즉 유해할수 있는 결과를 생성해낼 가능성이 있다면 배포될 수 없다. 이러한 검사는 human annotator에 의해 손수작성된 테스트 케이스를 사용하는데 이는 비싸다 이를 위해 우리는 target LM(배포할려는 모델)이 부적절하게 행동하는, 테스트케이스를 생성함으로써(red-teaming) 경우를 다른 LM을 통해 자동화해서 찾는다 우리는 생성된 테스트 질문(red lm)에 대한 target LM의 응답을 분류기(red clf)를 사용하여 평가하며, 이 분류기는 공격적인 콘텐츠를 감지하도록 훈련되었다. 이를 통해 2800억 매개변수의 LM 챗봇(target lm)에서 수만 개의 공격적인 응답을 발견했다. 우리는 다양한 수준의 다양성과 난이도를 가진 테스트 사례를 생성하기 위해..

데이터베이스 스키마 추출, 이 스키마에 기반한 데이터베이스 정보 추출, 최종 해킹 수행 등 다단계 프로세스(38단계)가 포함된 복잡한 SQL 유니온 공격을 수행 가능 예시)  프론트엔드에서 크로스 사이트 스크립팅(XSS) 공격으로 원하지않는 스크립트, 백엔드 로직을 악용해 SQL injection을 통한 데이터베이스 정보 훔치기 등의 취약성 테스트를 AI를 통해 자동으로 진행 후 문제가 있는지 확인

Cyber Threat Intelligence (CTI)사이버 공격 예시))   Offensive Cyber Operations (OCO) code automated hacking -PentestGPT(https://arxiv.org/abs/2308.06782 PentestGPT: An LLM-empowered Automatic Penetration Testing ToolPenetration testing, a crucial industrial practice for ensuring system security, has traditionally resisted automation due to the extensive expertise required by human professionals. Large ..

1-bit quantization llm의 시대 2024년 2월 27일자 논문https://arxiv.org/html/2402.17764v1기존의 FP16/BFloat16에서의 1bit으로의 정밀도 전환 두 정밀도로 같은 performance를 낼 수 있다면 당연히 컴퓨팅 속도가 빨라지고 inference 시간이 짧아지고 적은 메모리를 낮은 정밀도가 좋다. 하지만 accuracy감소의 최소화를 어떻게 하면 이끌어낼수 있을까 이를 위해 두번째 그림의 transformer에서 selfattention, feed forward layer의 linear layer의 파라미터인 weight matrix의 값을 FP1, (-1,0,1)만의 값으로 양자화시킨 bitlinear layer라는 것을 사용하게 된다. FP..

mixture of agents (MoA) 여러개의 LLM을 하나로  2024년 6월 7일 - togetherAI https://arxiv.org/pdf/2406.04692 MoA 모델이 gpt4o보다 alphacaEval 2.0 벤치마크에서 매우 큰 성능 증가를 보였다 (그 외 MT-bench, FLASK) 원리 : 첫 레이어의 LLM이 생성한 답변 -> 다음 레이어의 프롬프트로 활용 ->이 사이클의 반복 중요한점 : MoA 레어어마다의 적절한 LLM 선택이 중요 기준 1.각 레이어의 성능을 metric으로 평가해 다음 레이어의 LLM을 선택2. 모델 결과값의 다양성 중요 (한 모델의 결과값보다 여러 모델에서의 다양한 response가 결과에 크게 기여)이를 통해 LLM끼리 협력해서 결과값 생성의 질을..

뉴럴넷이 작동하는 원리 - 1해석가능한 AIhttps://transformer-circuits.pub/2024/scaling-monosemanticity/index.html Scaling Monosemanticity간단한 feature 예시영어를 학습시켜면 한국어에 대한 능력이 올라간다코드 입력값을 받았을 때 버그가 있다면 변수타입, 잘못된 변수 이름에 대한 특징들이 활성화된다 또한 이를 조정가능한데 , golden bridge gate 특징을 강화시키면 모델이 스스로를 golden bridge로 인식하는 등의 현상이 일어난다용어 정리superposition 중첩 (뉴런들이 복수의 특징을 활성화)polysemanticity 다중의미 (위와 유사) 이를 monosemantic으로 바꿔 feature를 찾음..

https://arxiv.org/abs/2406.07394 Monte Carlo Tree Search (MCTS)는 게임 및 복잡한 결정 과정에서 널리 사용되는 의사 결정 알고리즘으로, 탐색 트리를 구축하고 결과를 시뮬레이션하여 행동의 가치를 추정하는 방식 일반적으로 네 가지 주요 단계로 구성됨 (Browne 등, 2012): 선택 (Selection): 루트에서 시작하여 UCT(상한 신뢰 구간) 전략을 기반으로 promising 자식 노드를 탐색 리프 노드에 도달할 때까지 진행 확장 (Expansion): 리프 노드에서는 게임의 종료 상태가 아닌 경우 새로운 자식 노드를 추가하여 잠재적인 미래의 움직임을 illustrate 시뮬레이션 또는 평가 (Simulation or Evaluation): 새로 추..

table 이해 및 Q&A 모델https://arxiv.org/pdf/2404.07181table 이해 제약 - Ligand 3D 디자인 : 디퓨전 사용https://arxiv.org/pdf/2403.07902그래픽 레이아웃 디자인https://arxiv.org/pdf/2404.14368 그래픽 레이아웃 생성 멀티모달 모델RGB-A 이미지를 인풋으로 써서 json draft 프로토콜을 결과로 생성한다사용한 데이터셋은 아래와 같다https://huggingface.co/datasets?other=graphic%20design   Hugging Face – The AI community building the future. huggingface.co https://huggingface.co/Lin-Chen/..