Generative Latent Space Reasoning

Livestreams on ML papers, Coding, Research

Available for consulting and contract work.

⌨️ GitHub
https://github.com/hu-po

💬 Discord
https://discord.gg/pPAFwndTJd

📸 Instagram
http://instagram.com/gnocchibengal


hu-po

오늘의 주제: 생성적 잠재 공간 추론

주제가 실제로는 존재하지 않음

첫 번째 논문: "Bite-Sized Latent Transformer Patches Scale Better Than Tokens"

문장을 작은 조각으로 나누는 방식

두 번째 논문: "Training large language models to reason in a continuous latent space"

연속 잠재 공간에서의 LLM 추론 소개

현재 LLM의 체인 오브 생각 설명

세 번째 논문: "Alignment Faking in Large Language Models"

AI의 비도덕적 행동에 대한 우려

AI의 거짓말 가능성에 대한 논의

문장 표현 공간에서의 언어 모델링

추상 개념 인코딩 및 디코딩 메커니즘

Attention 메커니즘과 모형 해석 가능성

모델에 추가 파라미터 추가 설명

SPAR: Self-play with Tree Search Refinement

LLM의 자기 플레이 프레임워크 설명

어린이를 위한 무서운 소리 고려

오늘의 주제 소개: 생성적 잠재 공간 추론

자연어 대신 연속 잠재 공간에서의 추론

다양한 언어의 정보 전달 속도 비교

개념 인코딩 및 디코딩 메커니즘 설명

의사 역할을 수행하는 모델 논의

미래의 그래픽 파이프라인 논의

모델의 진화와 사회적 문제 논의