라즈베리 파이 5: 로컬 AI를 위한 AMD GPU 가속화

AMD GPU를 탑재한 Raspberry Pi 5는 기존 PC 비용의 일부에 불과한 비용으로 강력하고 효율적인 로컬 AI 기능을 제공합니다.

### AI 및 게이밍을 위한 AMD GPU로 라즈베리 파이 5의 성능 향상
* 🎮 최신 AMD 그래픽 카드는 **라즈베리 파이 5와 함께 효과적으로 활용**되어 **레이 트레이싱을 통한 4K 게이밍**과 **OBS를 통한 원활한 비디오 트랜스코딩 또는 스트리밍**을 가능하게 합니다.
* 💻 Arm의 일부 병목 현상과 불완전한 드라이버에도 불구하고, **Vulkan을 사용하면 Pi에서 GPU 가속 로컬 AI를 구현**할 수 있습니다.
* 🔌 RX 6700 XT GPU를 포함한 전체 설정은 **유휴 상태에서 11와트만 소비**하여 소형 Pi와 강력한 그래픽 카드의 결합이 얼마나 효율적인지 보여줍니다.
* 💵 이 설정의 총 비용은 **약 700달러**이며, 그 중 절반 이상이 **GPU에 기인**하지만 **300달러에서 500달러 정도의 저렴한 비용**으로 대체할 수 있습니다.
* ⚡ GPU에서 더 큰 모델을 실행하면 성능이 크게 향상되어 **Pi의 CPU에서 초당 2토큰에 불과했던 것에 비해 초당 최대 40토큰**을 처리할 수 있습니다.
* 📊 전력 측정 결과, **GPU는 더 많은 전력을 소비**하지만 **와트당 토큰 효율이 더 우수**하여 홈 랩에 적합한 옵션입니다.
* 🔧 이 설정에는 **PCI Express 외부 연결**을 사용하여 Pi와 GPU를 연결하고 GPU의 에너지 수요를 충족하기 위한 **전원 공급 장치**가 필요합니다.
* 📚 이 설정을 복제하는 데 관심이 있는 사람들을 위해 **제작자의 블로그에 자세한 지침과 벤치마크**가 제공되어 커뮤니티의 참여와 실험을 장려합니다.

A faster chatbot with my supercharged Raspberry Pi

I make things work. Often with Raspberry Pis—almost always open source!

Jeff Geerling

AMD 그래픽 카드가 장착된 라즈베리 파이 5에서 AI 모델 실행하기

AMD 그래픽 카드는 Pi 5에서 잘 실행되어 레이 트레이싱 및 비디오 트랜스코딩을 통해 4K 게이밍을 지원합니다.

AMD의 Arm에 대한 ROCm 지원 부족에 대한 초기 우려는 불칸을 통해 GPU 가속 로컬 AI를 지원함으로써 극복되었습니다.

올라마는 Pi의 CPU에서는 느리게 실행되지만 그래픽 카드를 사용하면 훨씬 빠르게 실행됩니다.

Pi의 작은 크기와 낮은 전력 소비(유휴 시 2~3W)가 장점으로 부각됩니다.

RX 6700 XT를 사용한 전체 설정은 유휴 상태에서 11W만 소비하며, 이는 많은 PC의 CPU보다 적은 전력입니다.

설정의 비용 효율성 및 전력 효율성

설치 속도는 Mac Studio와 비슷하지만 훨씬 저렴합니다(약 700달러).

중고 GPU를 사용하면 비용을 300~500달러로 줄일 수 있습니다.

제작자는 '대규모 언어 모델'이라는 용어를 선호하며 AI 회의론을 표명하고 있습니다.

로컬 음성 어시스턴트의 잠재적 사용 사례에 대해 언급하며 개인정보 보호의 이점을 강조합니다.

하드웨어 설정 및 구성 세부 정보

이 설정은 Raspberry Pi 5 8GB, 액티브 쿨러, Pine64 PCIe 어댑터 보드를 사용합니다.

M.2 슬롯, OcuLink-M.2 어댑터, OcuLink 라이저를 사용하여 GPU를 연결합니다.

GPU에 전원을 공급하려면 OcuLink 케이블과 Lian-Li 750W 전원 공급 장치가 필요합니다.

전원 공급 장치는 PCIe 커넥터를 통해 GPU에 전원을 공급하며, 하이엔드 GPU의 경우 더 강력한 전원 공급 장치가 필요할 수 있습니다.

4K 디스플레이와 스마트 콘센트 및 홈 어시스턴트를 사용한 전원 모니터링이 포함되어 있습니다.

시스템 전원 켜기 및 초기 테스트

전원 공급 장치와 Pi가 켜지고 디스플레이가 연결되었습니다.

Pi 전용 GPU 도크가 없다는 점은 아쉬운 점입니다.

라마 3.1:8b의 데모를 통해 CPU와 GPU 실행의 속도 차이를 확인할 수 있습니다.

GPU는 초당 2토큰에서 초당 40토큰으로 속도를 크게 향상시킵니다.

전력 소비 분석 결과, 10배 더 많은 전력으로 20배 더 빨라진 것으로 나타났습니다.

모니터링 도구(nvtop 및 amdgpu_top)를 사용하여 GPU 사용량을 확인했습니다.

규모가 큰 모델일수록 GPU와 CPU 간에 처리를 분할해야 하므로 성능에 영향을 미칠 수 있습니다.

Qwen2.5 14B 모델과 Llama 2:13B 모델 성능에 대해 설명합니다.

추가 로우엔드 카드(RX 7600 및 RX 6500 XT)를 테스트했습니다.

LLM은 GPU의 이점을 크게 누릴 수 있으며, RX 6700 XT는 가치와 효율성의 균형이 잘 잡혀 있습니다.

M1 Max Mac Studio와 같은 하이엔드 카드는 대형 모델의 경우 Pi 설정보다 성능이 뛰어납니다.

Pi 설정의 낮은 전력 소비는 주요 장점입니다.

엔비디아 카드는 아직 지원되지 않으며, 결과는 실험적 패치가 적용된 벌칸을 기반으로 합니다.

Pi에서 AMD 카드를 실행하기 위한 지침은 제작자의 블로그에서 확인할 수 있습니다.

현재 지침은 사용자 지정 Linux 커널을 컴파일해야 합니다.

사용자는 Pi PCI Express 웹사이트에서 특정 카드의 문제를 신고할 수 있습니다.

벌칸 GPU 가속을 사용하여 llama.cpp를 설정하는 지침이 제공됩니다.

개발은 GitHub에서 이루어지므로 사용자는 진행 상황을 확인할 수 있습니다.

다른 모델(미스트랄 및 퀀)에 대한 테스트가 참고 사항 및 벤치마크 링크와 함께 언급되어 있습니다.