이진욱님의 블로그

Cyber Threat Intelligence (CTI)사이버 공격 예시))   Offensive Cyber Operations (OCO) code automated hacking -PentestGPT(https://arxiv.org/abs/2308.06782 PentestGPT: An LLM-empowered Automatic Penetration Testing ToolPenetration testing, a crucial industrial practice for ensuring system security, has traditionally resisted automation due to the extensive expertise required by human professionals. Large ..

1-bit quantization llm의 시대 2024년 2월 27일자 논문https://arxiv.org/html/2402.17764v1기존의 FP16/BFloat16에서의 1bit으로의 정밀도 전환 두 정밀도로 같은 performance를 낼 수 있다면 당연히 컴퓨팅 속도가 빨라지고 inference 시간이 짧아지고 적은 메모리를 낮은 정밀도가 좋다. 하지만 accuracy감소의 최소화를 어떻게 하면 이끌어낼수 있을까 이를 위해 두번째 그림의 transformer에서 selfattention, feed forward layer의 linear layer의 파라미터인 weight matrix의 값을 FP1, (-1,0,1)만의 값으로 양자화시킨 bitlinear layer라는 것을 사용하게 된다. FP..

mixture of agents (MoA) 여러개의 LLM을 하나로  2024년 6월 7일 - togetherAI https://arxiv.org/pdf/2406.04692 MoA 모델이 gpt4o보다 alphacaEval 2.0 벤치마크에서 매우 큰 성능 증가를 보였다 (그 외 MT-bench, FLASK) 원리 : 첫 레이어의 LLM이 생성한 답변 -> 다음 레이어의 프롬프트로 활용 ->이 사이클의 반복 중요한점 : MoA 레어어마다의 적절한 LLM 선택이 중요 기준 1.각 레이어의 성능을 metric으로 평가해 다음 레이어의 LLM을 선택2. 모델 결과값의 다양성 중요 (한 모델의 결과값보다 여러 모델에서의 다양한 response가 결과에 크게 기여)이를 통해 LLM끼리 협력해서 결과값 생성의 질을..

뉴럴넷이 작동하는 원리 - 1해석가능한 AIhttps://transformer-circuits.pub/2024/scaling-monosemanticity/index.html Scaling Monosemanticity간단한 feature 예시영어를 학습시켜면 한국어에 대한 능력이 올라간다코드 입력값을 받았을 때 버그가 있다면 변수타입, 잘못된 변수 이름에 대한 특징들이 활성화된다 또한 이를 조정가능한데 , golden bridge gate 특징을 강화시키면 모델이 스스로를 golden bridge로 인식하는 등의 현상이 일어난다용어 정리superposition 중첩 (뉴런들이 복수의 특징을 활성화)polysemanticity 다중의미 (위와 유사) 이를 monosemantic으로 바꿔 feature를 찾음..

https://arxiv.org/abs/2406.07394 Monte Carlo Tree Search (MCTS)는 게임 및 복잡한 결정 과정에서 널리 사용되는 의사 결정 알고리즘으로, 탐색 트리를 구축하고 결과를 시뮬레이션하여 행동의 가치를 추정하는 방식 일반적으로 네 가지 주요 단계로 구성됨 (Browne 등, 2012): 선택 (Selection): 루트에서 시작하여 UCT(상한 신뢰 구간) 전략을 기반으로 promising 자식 노드를 탐색 리프 노드에 도달할 때까지 진행 확장 (Expansion): 리프 노드에서는 게임의 종료 상태가 아닌 경우 새로운 자식 노드를 추가하여 잠재적인 미래의 움직임을 illustrate 시뮬레이션 또는 평가 (Simulation or Evaluation): 새로 추..

table 이해 및 Q&A 모델https://arxiv.org/pdf/2404.07181table 이해 제약 - Ligand 3D 디자인 : 디퓨전 사용https://arxiv.org/pdf/2403.07902그래픽 레이아웃 디자인https://arxiv.org/pdf/2404.14368 그래픽 레이아웃 생성 멀티모달 모델RGB-A 이미지를 인풋으로 써서 json draft 프로토콜을 결과로 생성한다사용한 데이터셋은 아래와 같다https://huggingface.co/datasets?other=graphic%20design   Hugging Face – The AI community building the future. huggingface.co https://huggingface.co/Lin-Chen/..