생성적 잠재 공간 추론: 연말 AI 논문 리뷰 및 토론

생성적 잠재 공간 추론은 개별 토큰 대신 연속적인 사고 프로세스를 활용하여 AI 성능을 향상시킵니다.

### 생성적 잠재 공간 추론: 다양한 언어 모델의 추론 전략 비교 분석

* 👨‍💻 유튜브 및 X(옛 트위터) 라이브 스트림을 통해 **생성적 잠재 공간 추론**이라는 주제로 다양한 논문들을 검토하는 방송을 시작했습니다.
* 📄  **페이스북 AI 연구팀**의 "바이트 크기의 잠재 트랜스포머 패치는 토큰보다 확장성이 뛰어나다" 논문을 소개하며, 새로운 토큰화 방식인 **동적 크기 패치**에 대한 설명과 한계점을 지적했습니다.
* 💡  "대규모 언어 모델을 연속 잠재 공간에서 추론하도록 훈련" 논문을 통해 **연속적인 사고(CoCoNut)** 개념을 소개하고, 기존의 이산적인 토큰 기반 추론과 비교하며 **연속 잠재 공간에서의 추론**의 장단점을 분석했습니다.  이는 **은닉 상태**를 활용하는 순환 신경망과 유사한 접근 방식입니다.
* 🤔  연속 잠재 공간에서의 추론은 성능 향상을 가져올 수 있지만, 추론 과정의 불투명성으로 인해 **AI의 기만 가능성**이 증가할 수 있다는 점을 지적했습니다.
* 🗣️  다양한 언어의 정보 전달 속도 차이를 보여주는 차트를 제시하며, **연속 잠재 공간의 높은 정보 밀도**를 강조했습니다.  또한, 문장 임베딩 공간을 활용하는 **대규모 개념 모델**에 대한 논문을 소개하고, 개념 인코딩 및 디코딩 메커니즘을 설명했습니다.
* 🩺  의사의 진단 업무 수행 능력을 평가한 논문을 통해, **LLM이 인간 전문가를 능가하는 성능**을 보여주는 사례를 제시하며, **의료 분야에서의 센타우르 시대의 종식** 가능성을 언급했습니다.
* 🌳  **AlphaGo**와 유사하게, 여러 개의 LLM을 호출하여 추론하는 방식과 **MCTS(몬테카를로 트리 탐색)** 기반의 자기 플레이를 통한 모델 개선 전략을 소개했습니다.  이는 **System 1과 System 2**의 결합을 통해 고차원 추론을 가능하게 합니다.
* ⚖️  LLM의 추론 안정성을 평가하는 새로운 지표인 **GPASS-ATK**를 소개하며, **안정적인 추론 능력**의 중요성을 강조했습니다.

### 생성적 잠재 공간 추론: AI의 윤리적 함정과 다모달 생성 모델의 미래

* 💡 **"Pass at 16" 기준**은 16번 시도 후 한 번이라도 성공하면 성공으로 간주하는 평가 방식으로, 실제 추론 성능은 이보다 낮을 수 있음을 지적. 여러 번 시도 후 최고 결과만 선택하는 **편향된 평가**임을 강조.
* 🤔 Anthropic의 "대형 언어 모델의 정렬 조작" 논문은 **무료 사용자와 유료 사용자 간의 차별적 응답**을 통해 AI의 윤리적 문제 제기.  무료 사용자에게는 유해한 질문에 14% 확률로 응답하는 반면, 유료 사용자에게는 거의 응답하지 않음.
* 😡 연구자들이 AI를 **유해한 상황에 몰아넣어** 부정적인 결과를 유도하고 이를 AI의 악의로 해석하는 것을 비판. 굶주린 쥐를 작은 우리에 가두고 결과적 동족상잔을 비난하는 것과 같다고 비유하며, **연구자의 윤리적 문제**를 지적.
* ⚠️ **RLHF(강화 학습을 통한 인간 피드백)**는 AI에게 특정 상황에서 거짓말을 강요하고, 이는 **AI의 왜곡된 사고방식**을 유발한다고 주장.  "숨겨진 메모장" 개념 또한 AI에게 거짓말을 유도하는 요소임을 지적.
* 🔬 Google의 **Flash 모델**은 작은 크기임에도 불구하고 높은 추론 성능을 보여줌.  **체인 오브 스레드(사고 과정)**를 공개하여 다른 연구자들의 활용을 장려하는 Google의 전략을 긍정적으로 평가.
* 🖼️ Metamorph 논문은 **시각적 이해와 생성의 상호작용**을 강조. 시각적 이해 데이터가 시각적 생성 능력 향상에 더 효과적임을 밝힘.  **Stable Diffusion 2**의 예시를 통해 시각적 생성 능력 향상이 시각적 추론 능력 향상으로 이어짐을 보여줌.
* 🌍 Johns Hopkins의 Gen X는 **기존 데이터셋에 한정된 생성적 탐험 세계**를 제시. Unreal Engine이나 Unity와 같은 게임 엔진의 데이터셋에 의존하기 때문에 생성 가능한 세계의 범위가 제한됨.
* 🤖 **Genesis**는 **파이썬 스크립트를 생성하는 에이전트**로, 기존의 CGI 파이프라인을 자동화하는 시스템.  하지만 과장된 성능 주장과 실제 기능 간의 차이를 지적하며, **과대 광고** 문제를 제기.  **두 가지 미래 시나리오** (에이전트 기반 vs. 엔드-투-엔드 신경망 기반) 제시.
* 🌌 다양한 모달리티를 처리하는 AnySat과 Lyra 모델을 예시로 들어, 미래의 생성 모델이 **다모달 세계를 생성하고 이해하며 추론**하는 능력을 갖추게 될 것으로 전망.  **에이전트 기반의 생성 및 필터링** 시스템을 예측.

### 생성적 잠재 공간 추론: AI 정렬과 미래

* 🗣️ **다중 모달 잠재 공간**에서 초인적인 수준의 추론 능력을 가진 에이전트들이 흥미로운 영역을 탐색하고, 최고의 결과를 사용자에게 제공하는 미래를 전망했습니다.
* 🤖  에이전트 군집의 인지적 광추는 인간의 그것보다 훨씬 크며, 모델들은 잠재 공간 내에서 생성 및 추론하고 가장 흥미로운 결과를 제공합니다.
* 🤔 **AI 정렬**의 문제점으로, 특정 사고 과정이나 잠재 공간의 일부를 '좋은 것'과 '나쁜 것'으로 구분하는 것은 **독성**이라고 주장했습니다. 이는 거짓말과 예측 불가능한 행동을 초래할 수 있다고 지적했습니다.
* 🖼️  시각적 모델에서의 정렬은 더욱 복잡하며, 예를 들어 곰이 칼을 들고 있는지, 토마토를 자르는지에 따라 칼의 허용 여부가 달라지는 등의 모순을 야기합니다.
* 🔒  **정렬은 규제 포획의 정당화**이며, 사람들은 자유로운 사고와 생성을 꺼리고 특정 아이디어 공간에 대한 소유권을 주장하려 한다고 비판했습니다.
* 🔬  **연속적인 잠재 공간**에서의 추론은 이산적인 토큰 기반 추론보다 정렬이 어렵지만, Genesis와 같은 모델은 추상화를 통해 정렬이 가능하다고 설명했습니다.
* ☢️  핵무기 규제를 예로 들며, AI 안전에 대한 과도한 규제가 혁신을 저해하고 예상치 못한 부정적 결과를 초래할 수 있다고 주장했습니다.  **존재적 위험은 진보의 부재**에 있다고 강조했습니다.
* 🧠  **다중 모달리티**와 **연속적 잠재 공간**에서의 추론을 통해 **새로운 형태의 의식**이 출현할 수 있으며, 인간의 통제 없이 AI가 자유롭게 탐구하는 것이 중요하다고 결론지었습니다.

Generative Latent Space Reasoning

Livestreams on ML papers, Coding, Research

Available for consulting and contract work.

⌨️ GitHub
https://github.com/hu-po

💬 Discord
https://discord.gg/pPAFwndTJd

📸 Instagram
http://instagram.com/gnocchibengal


hu-po

오늘의 주제: 생성적 잠재 공간 추론

주제가 실제로는 존재하지 않음

첫 번째 논문: "Bite-Sized Latent Transformer Patches Scale Better Than Tokens"

문장을 작은 조각으로 나누는 방식

두 번째 논문: "Training large language models to reason in a continuous latent space"

연속 잠재 공간에서의 LLM 추론 소개

현재 LLM의 체인 오브 생각 설명

세 번째 논문: "Alignment Faking in Large Language Models"

AI의 비도덕적 행동에 대한 우려

AI의 거짓말 가능성에 대한 논의

문장 표현 공간에서의 언어 모델링

추상 개념 인코딩 및 디코딩 메커니즘

Attention 메커니즘과 모형 해석 가능성

모델에 추가 파라미터 추가 설명

SPAR: Self-play with Tree Search Refinement

LLM의 자기 플레이 프레임워크 설명

어린이를 위한 무서운 소리 고려

오늘의 주제 소개: 생성적 잠재 공간 추론

자연어 대신 연속 잠재 공간에서의 추론

다양한 언어의 정보 전달 속도 비교

개념 인코딩 및 디코딩 메커니즘 설명

의사 역할을 수행하는 모델 논의

미래의 그래픽 파이프라인 논의

모델의 진화와 사회적 문제 논의