선택적 공간을 사용한 Manba 실시간 Seq2Seq 모델링

Mamba는 선택적 자르기를 통해 SSM의 언어 모델링 한계를 해결하고 SSM을 불연속형 아키텍처로 전환합니다.

### 만바의 진화: SSM에서 맘바까지
* 🧠 천재원 강사가 선택적 공간을 이용한 실시간 Seq2Seq 모델링인 만바의 진화 과정을 소개하며, 만바의 포지셔닝과 주요 개념, 개발 필요성에 대해 설명합니다.
* 🌐 이 발표에서는 딥 러닝 아키텍처의 배경과 만바의 등장, 기존 아키텍처의 철학에 대해 다룹니다.
* 📱 상태 공간 모델(SSM)과 연속 시간 도메인 시퀀스 모델링을 살펴보고, 예측 프로세스와 SSM의 작동에 대해 자세히 설명합니다.
* 💬 이 논문에서는 미분 방정식과 오일러 방법 등 이를 푸는 방법을 설명하여 SSM을 익숙한 모델과 유사하게 만듭니다.
* 🖥️ 선형적이고 시간에 따라 변하지 않는 SSM의 특성, 효율적인 교육, 정보 저장 및 빠른 교육을 최적화하기 위한 고려 사항에 대해 설명합니다.
* 🧠 이 논문에서는 계산 비용과 수치 안정성 문제를 해결하는 SSM과 선택적 공간 모델의 스태킹을 소개합니다.
* 🌟 재매개변수화 및 추가 모듈을 통해 SSM의 성능을 향상시키고 언어 모델링의 한계를 해결하는 것을 목표로 하는 S4, S4D 및 H3 모델을 소개합니다.
* 💡 맘바 모델은 불연속형 필드에서 약한 성능과 선택적 자르기 개념을 해결하기 위해 불연속형에 초점을 맞춘 SSM의 버전으로 도입되었습니다.
* 🔬 SSM 스택의 레이어 내 연산과 텐서 입력 처리에 대해 자세히 설명하며 레이어의 차원과 독립적인 스케일링에 대해 설명합니다.

### 만바: 구조 자체 변조 기능이 향상된 순차적 모델
* 🧠 이 글에서는 순차적 모델에서 구조 자체 변조(SSM)를 향상시키는 개념과 그 아키텍처적 의미에 대해 설명합니다.
* 📊 선택적 커플링, 델타-MAML 부분, 모델의 성능과 데이터 종속성에 미치는 영향 등 SSM의 구현에 대해 살펴봅니다.
* 💻 메모리 복잡성 및 커널 융합 기법과 함께 MAMBA 블록, 게이트 MLP 구조, 컨볼루션 연산을 포함한 모델의 아키텍처 설계가 자세히 설명되어 있습니다.
* 🏗️ 이 텍스트는 선택적 작업, 귀납적 헤드, 언어 모델링에서 모델의 성능을 평가하고 트랜스포머 기반 모델과 비교하며 학습 속도와 추론 속도에 대해 다룹니다.
* 🌐 만바 모델의 발전과 생태계에 미치는 영향, 그리고 모델에 대한 추가 연구와 이해의 필요성에 대한 고찰로 마무리합니다.

[Paper Review] Mamba: Linear-Time Sequence Modeling with Selective State Spaces

고려대학교 산업경영공학부 Data Science & Business Analytics Lab입니다.

고려대학교 산업경영공학부 DSBA 연구실

선택적 기능을 갖춘 Manba 실시간 Seq2Seq 모델링

Manba는 SSM 시스템을 심층적으로 쌓아 t번째 토큰을 예측하는 시퀀스 데이터 모델로, 딥러닝 아키텍처에서 트랜스포머의 경쟁자로 자리 잡고 있습니다.

연구원들은 선택적 공간 모델링에 중점을 두고 NLP 아키텍처에서 효율적인 메모리 사용과 빠른 학습에 대한 필요성을 해결하기 위해 Manba 모델을 연구하고 있습니다.

Manba에 사용되는 상태 공간 모델(SSM)은 연속 시간 영역에서 시퀀스 모델링하는 방법으로, 입력 값과 잠재 공간 특징을 기반으로 출력을 생성합니다.

딥러닝에서 상태 공간 모델(SSM) 작동하기

SSM은 A, B, N 상태를 통해 메모리를 업데이트하고 숨겨진 상태 XT를 변환하는 방식으로 작동합니다.

또한 C와 D를 사용해 숨겨진 상태 XT를 출력 스칼라 YT로 변환합니다.

SSM은 선형적이고 시간 불변적인 특성 덕분에 컨볼루션 모드에서는 빠른 학습을, 반복 모드에서는 빠른 추론을 제공합니다.

SSM 모델에서 A 매트릭스 초기화의 중요성

이 논문은 SSM 훈련에서 A 행렬의 중요한 역할과 순차적 정보를 효과적으로 저장하는 데 미치는 영향에 대해 강조합니다.

이 논문에서는 과거 입력의 저장을 최적화하기 위해 A 행렬을 초기화하는 방법을 제안합니다.

이 백서에서는 특히 심층 SSM 아키텍처에서 비스칼라 임베딩으로 작업할 때 A, B, C 행렬의 차원 처리에 대해서도 설명합니다.

S4D 모델은 인수분해를 통해 계산 비용을 줄이기 위해 재파라미터화된 구조화된 상태 공간 모델(SSM)을 제안합니다.

H3 모델은 정보를 기억하고 비교하는 능력을 이식하기 위해 특정 계산을 추가하여 SSM의 부족한 능력을 보완하도록 설계되었습니다.

H3의 저자들은 SSM이 특정 입력에 따른 입력을 기억하는 것과 현재 입력된 정보를 기억에 있는 것과 비교하는 두 가지 작업을 수행하는 능력이 부족하다고 제안합니다.

H3 모델은 이전 입력과 지연 토큰 정보를 기억하는 능력을 이식함으로써 인위적으로 만들어진 이 두 가지 작업을 성공적으로 수행합니다.

맘바를 통한 SSM 모델의 기능 향상

맘바는 시퀀스 방향에 1차원 컨볼루션 레이어를 추가하여 트랜스포머와 비교한 SSM 모델의 성능 격차를 해소하기 위해 도입되었습니다.

또한 구조화된 공간 모델의 단점을 분석하고 선택적 크롭을 도입하여 언어 모델링의 부족한 기능을 보완하는 데 중점을 둡니다.

맘바는 입력 토큰에 따라 숨겨진 상태를 선택적으로 업데이트하고 빠른 처리를 위해 FFT를 사용함으로써 이산 분야, 특히 언어 모델링에서 SSM 모델의 성능을 향상시키는 것을 목표로 합니다.

대각선 행렬 곱셈의 효율적인 계산

A 행렬은 대각선화 가능하므로 대각선 요소에 숨겨진 상태를 곱하는 효율적인 계산이 가능합니다.

이 연산은 A 행렬의 대각선 요소를 사용하여 이전 숨겨진 상태를 선형 변환하는 결과를 가져옵니다.

A 바 행렬은 델타와 A를 요소별로 곱하여 생성되므로 각 토큰마다 다른 A 바가 생성되어 궁극적으로 각 토큰에 고유한 변환을 제공합니다.

텐서 A와 B는 토큰에 적용하는 데 영향을 미치는 모양 변환을 거칩니다.

A, B, 델타 간의 상호 작용은 데이터 종속적인 연산을 초래하여 궁극적으로 숨겨진 상태 전환에 영향을 미칩니다.

MAMBA 모델은 채널 간의 독립성을 유지하고 채널 길이를 혼합하는 것을 목표로, 각각 치수의 확장 및 축소를 처리하는 스택형 블록으로 구성됩니다.

만바 모델의 주요 운영 및 과제

만바 모델은 토큰 차원과 숨겨진 상태에 D 내부와 D 상태를 사용하며, 각 블록에 선형 투영과 게이트 MLP 구조를 사용합니다.

또한 각 내부 차원에 대해 1차원 컨볼루션을 통합하여 동일한 D 내부에 정보를 혼합합니다.

이 모델의 패치를 사용하면 연산의 정류성 덕분에 보다 효율적인 계산이 가능하며, n차원 잠재 공간을 모델링하는 것을 목표로 하므로 메모리 복잡성이 높고 GPU 처리에서 시간 병목 현상이 발생할 수 있습니다.

커널 퓨전 및 선택적 SSM을 통한 GPU 아키텍처 효율성 향상

최신 GPU 아키텍처에서 텐서를 HBM에 복사하면 병목 현상이 발생하지만 커널 퓨전은 연산을 결합하고 텐서 복사의 필요성을 줄임으로써 도움이 됩니다.

이 백서에서는 특히 선택적 자르기와 같은 합성 작업에서 성능 향상을 위한 선택적 SSM 게이팅의 중요성도 강조합니다.

Mamba 아키텍처는 매우 긴 시퀀스에서도 강력한 성능을 보여주지만, 노출과 같은 위치 인코딩 방식은 RN과 같은 모델에 비해 성능이 더 크게 저하될 수 있습니다.

만바 순차적 모델의 성능 및 개발

만바 모델은 다른 트랜스포머 기반 모델보다 인덕티브 헤드 작업에서 더 나은 성능을 보여줍니다.

또한 크기가 커질수록 안정적인 성능 향상을 보이지만 다른 인기 파운데이션 모델과 비교하면 약간 아쉬운 부분이 있습니다.

이 모델의 훈련 속도는 2K를 초과하는 길이의 경우 플래시 어텐션 2보다 훨씬 빠르며, 방대한 양의 데이터를 처리할 수 있습니다.

만바 모델은 이차적 시간 복잡도가 낮은 순차적 모델로, 구조 SSM의 성능 향상을 목표로 하지만 원래의 훈련 속도 핵심에 대한 도전에 직면해 있습니다.