Muma: 선형 시간 시퀀스 모델링을 위한 선택적 상태 공간

### Mamba: 선택적 상태 공간을 사용한 선형 시간 시퀀스 모델링 아키텍처
* 맘바는 구조화된 상태 공간 모델의 입력 독립성 제약을 완화하는 새로운 접근 방식인 **선택적 상태 공간**을 도입하여 현재 입력에 따라 시간 스텝에서 시간 스텝으로 전환하도록 하는 아키텍처입니다.
* ⚖ 구조화된 상태 공간의 선형적 백본을 유지하면서 입력에 따른 전환을 허용함으로써, 맘바는 **완전 반복 모델의 효율성**과 **트랜스포머의 컨텍스트 기반 추론 기능** 간에 균형을 맞춥니다.
* 🔢 훈련 중에는 **Mamba가 트랜스포머처럼 시퀀스의 모든 전진 패스를 한 번에 계산**하는 반면, 추론 중에는 **단계당 일정한 시간만 소요되는 단순 반복 모델**처럼 작동합니다.
* 💨 Mamba의 메모리와 연산은 시퀀스 길이에 따라 선형적으로 확장되며, **DNA 모델링 및 오디오 파형과 같이 컨텍스트가 긴 시나리오에서 탁월한 성능**을 발휘합니다.
* 입력 의존적 전환으로 인한 계산 복잡성 증가를 완화하기 위해 Mamba는 **컨볼루션 대신 스캔 작업**을 통해 반복적으로 모델을 계산하는 하드웨어 인식 알고리즘을 활용합니다.
* 📈 스케일링 법칙에 따르면, **맘바는 다른 모든 주의가 필요 없는 모델보다 성능이 뛰어나며 대규모 언어 모델링 작업에서 강력한 트랜스포머 베이스라인의 성능과 일치하는 최초의 모델**입니다.
* 맘바의 핵심 연산은 **입력 투영, 1D 컨볼루션 적용, 파라미터 이산화, 반복 상태 계산, 출력 생성**로 이루어집니다.
* 📦 Mamba의 코드베이스에는 **Python, GPU, 반복 추론, 병렬 학습용 버전 등 다양한 아키텍처 구현**이 포함되어 있어 모델을 포괄적으로 이해할 수 있습니다.

선택적 상태 공간을 사용한 맘바 선형 시간 시퀀스 모델링은 S4의 입력 독립성을 완화하여 강력한 트랜스포머 경쟁자로서의 잠재력을 보여줍니다.

Mamba: Linear-Time Sequence Modeling with Selective State Spaces (Paper Explained)

I make videos about machine learning research papers, programming, and issues of the AI community, and the broader impact of AI in society.

Twitter: https://twitter.com/ykilcher
Discord: https://ykilcher.com/discord
BitChute: https://www.bitchute.com/channel/yannic-kilcher
LinkedIn: https://www.linkedin.com/in/ykilcher
BiliBili: https://space.bilibili.com/2017636191

If you want to support me, the best thing to do is to share out the content :)

If you want to support me financially (completely optional and voluntary, but a lot of people have asked for this):
SubscribeStar: https://www.subscribestar.com/yannickilcher
Patreon: https://www.patreon.com/yannickilcher
Bitcoin (BTC): bc1q49lsw3q325tr58ygf8sudx2dqfguclvngvy2cq
Ethereum (ETH): 0x7ad3513E3B8f66799f507Aa7874b1B0eBC7F85e2
Litecoin (LTC): LQW2TRyKYetVC8WjFkhpPhtpbDM4Vw7r9m
Monero (XMR): 4ACL8AGrEo5hAir8A9CeVrW8pEauWvnp1WnSDZxW7tziCDLhZAGsgzhRQABDnFy8yuM9fWJDviJPHKRjV4FWt19CJZN9D4n




Yannic Kilcher

선택적 상태 공간을 사용한 Muma 선형 시간 시퀀스 모델링

Muma는 트랜스포머, RNN, 상태 공간 모델과 경쟁하는 새로운 모델로, 긴 시퀀스에 대해 더 나은 확장 속성을 제공합니다.

트랜스포머의 동적이고 선택적인 주의와 달리, Muma의 접근 방식은 더 제한적이어서 마지막 숨겨진 상태와 현재 입력만 살펴볼 수 있습니다.

이러한 제한 덕분에 Muma는 최소한의 메모리 요구 사항으로 무한한 길이로 확장할 수 있지만, 시간에 따른 역전파에 문제가 있을 수 있습니다.

상태 공간 모델의 속성과 맘바의 소개

상태 공간 모델은 컨볼루션 연산자와 완전한 선형 전환을 사용하기 때문에 일련의 입력에 대한 모든 출력을 한 번에 계산할 수 있다는 좋은 특성을 가지고 있습니다.

또한 이러한 모델은 시간이나 입력 의존성이 없기 때문에 집계를 미리 계산하고 전체 프로세스를 하나의 큰 계산으로 계산할 수 있습니다.

반면 맘바는 선택적 상태 공간을 도입하여 시간 단계 간 전이의 독립성을 완화하여 LSTM에 더 가깝지만, 학습 중에는 트랜스포머, 추론 중에는 LM과 유사하게 한 번에 계산할 수 있는 기능을 유지합니다.

선택적 상태 공간 모델은 특히 긴 시퀀스 처리와 효율적인 컨텍스트 모델링에서 트랜스포머의 강력한 경쟁자로서 가능성을 보여주고 있습니다.

이 모델은 긴 시퀀스에 대한 계산 효율성을 다루며, 시퀀스 길이를 선형적으로 확장하면서 트랜스포머의 모델링 성능을 향상시키는 것을 목표로 합니다.

선택적 상태 공간 모델은 이전의 숨겨진 상태가 아닌 현재 입력에 따라 전환을 허용하여 백본 전환을 위한 고정 계산을 제공한다는 점에서 트랜스포머 및 기존 순환 네트워크와 다름니다.

반복 모델을 위한 맘바 아키텍처

맘바 아키텍처는 컨볼루션 대신 스캔을 통해 반복적으로 모델을 계산하는 하드웨어 인식 알고리즘으로, GPU에서 빠르게 작동합니다.

선택적 상태 공간, 1D 컨볼루션, 상향 투영을 결합하여 주의 기반 모델의 병목 현상을 피하는 완전 반복 모델을 생성합니다.

이 아키텍처는 최대 100만 개의 시퀀스 길이의 실제 데이터에서 메모리 선형 확장과 성능 향상을 통해 빠른 훈련과 추론이 가능합니다.

맘바 아키텍처는 게이팅 메커니즘과 선택적 상태 공간 레이어를 계산에 사용하며, 시간 단계보다는 레이어 간 상호 작용에 중점을 둡니다.

여기에는 숨겨진 상태와 입력의 전파를 제어하기 위한 네 가지 주요 매개변수가 포함되어 있어 궁극적으로 비선형성이 없는 단순한 선형 순환 신경망을 생성합니다.

그런 다음 출력은 선형 계산에 중점을 두고 숨겨진 상태의 선형 함수로 계산됩니다.

신경망에서 컨볼루션 연산의 효율성

설명된 프로세스에는 학습된 파라미터를 기반으로 값을 미리 계산하여 새로운 시퀀스에 대한 출력을 빠르게 생성하는 과정이 포함됩니다.

이 접근 방식은 매우 효율적인 컨볼루션 연산으로 이어져 모든 선형 단계를 동시에 계산하고 쉽게 순방향 전파를 할 수 있습니다.

이 방법은 GPU 고대역폭 메모리와 SRAM을 차별화함으로써 연산의 차원이 증가하더라도 속도를 유지합니다.

SRAM이 매트릭스 곱셈에 미치는 영향

SRAM은 빠른 행렬 곱셈에 중요한 역할을 하며, 느린 프로세스는 메모리 간 데이터 이동입니다.

데이터 이동을 최적화하고 병렬 스캔을 사용하면 프로세스가 훨씬 빨라져 상당한 시간을 절약할 수 있습니다.

이러한 최적화를 통해 스케일링 법칙이 개선되고 언어 모델링에서 다른 주의가 필요 없는 모델보다 성능이 향상됩니다.

맘바 시퀀스 모델의 강점 및 구현

Mamba는 일반 시퀀스 모델 백본의 강력한 후보로 고려되고 있습니다.

Mamba의 효율적인 구현은 메모리 전송을 줄이는 데 중점을 두고 있으며 Python, GPU, 추론 및 훈련에 대한 다양한 구현을 제공합니다.

이 모델의 아키텍처에는 1D 컨볼루션, 이산화, 재귀 계산, 숨겨진 상태 투영을 위한 게이팅 경로가 포함됩니다.