Apple Silicon Clusters: Machine Learning Performance Insights

Apple의 실리콘 아키텍처는 기존 GPU에 비해 머신 러닝 모델을 실행하는 데 비용 효율적인 대안을 제공합니다.

### 머신 러닝 성능 살펴보기: Apple 실리콘과 전용 GPU 비교
* 🖥 머신 러닝 모델을 실행하는 것은 병렬 처리에 가장 적합하며, 이러한 작업에는 **느린 CPU에 비해 GPU가 뛰어난 성능**을 발휘합니다.
* 💪 RTX 490과 같은 전용 GPU는 빠르지만 비싸고 전력을 많이 소모하므로 로컬 LLM을 저렴하게 실행하려는 소비자에게는 **Apple 실리콘 아키텍처**가 매력적인 대안이 될 수 있습니다.
* 💡 Apple 실리콘의 통합 메모리를 사용하면 Mac mini와 같은 구성에서 **최대 64GB**를 제공하여 가장 비싼 일반 소비자용 Nvidia 카드의 **24GB를 능가하는 RAM**을 보다 효율적으로 사용할 수 있습니다.
* 🔍 애플 실리콘에 최적화된 프레임워크인 **MLX의 등장은 PyTorch와 같은 기존 프레임워크보다 성능이 뛰어나** 머신러닝 작업에서 강력한 경쟁자가 될 것으로 알려졌습니다.
* ⚡ Mac 클러스터를 설정하면 이론적으로 성능을 향상시킬 수 있으며, 저자는 **분산 시스템의 효율성을 확인하기 위해 다양한 구성으로 실험**해 보았습니다.
* 🔌 이 설정에는 더 나은 연결을 위해 **Thunderbolt 브리지를 사용하는 것**이 포함되며, 초기 테스트에서는 머신 구성과 네트워크 연결에 따라 성능이 달라지는 것으로 나타났습니다.
* 📊 테스트 결과 클러스터를 사용하면 처리 속도가 향상될 수 있지만, **성능 향상은 사용되는 특정 모델과 구성에 따라 크게 달라져 결과가 엇갈리는 것**으로 나타났습니다.
* 💰 궁극적으로 Mac을 클러스터링하는 것은 흥미로운 개념이지만, 저자는 **머신 러닝 애플리케이션에는 여전히 충분한 RAM을 갖춘 강력한 MacBook Pro**가 더 실용적인 선택이 될 수 있다고 제안합니다.

M4 Mac Mini CLUSTER 🤯

Cracking code and curiosities, I turn caffeine-fueled late nights into bytes of wisdom. Welcome aboard! I’m Alex, with 20+ years of mastering the art of coding and now, the craft of content creation.
Subscribe to my channel and join me in unraveling software enigmas with in-depth tech reviews tailored for developers, with a dash of humor. Emojis suck 🚀

https://www.youtube.com/@azisk?sub_confirmation=1

Alex Ziskind

머신 러닝을 위한 GPU와 Apple 실리콘 비교

CPU는 머신 러닝 모델 실행과 같은 병렬 작업에는 느린 반면, GPU는 병렬 처리에 탁월합니다.

하이엔드 GPU는 빠르지만 비싸고 전력 소모가 큽니다.

Apple 실리콘은 가정 사용자를 위한 비용 효율적인 대안을 제공합니다.

더 큰 모델일수록 더 많은 RAM이 필요하며, Apple 실리콘의 통합 메모리는 전용 GPU 메모리보다 유리합니다.

TensorFlow 및 PyTorch와 같은 머신 러닝 프레임워크는 Apple 실리콘 및 기타 하드웨어에서 실행됩니다.

MLX 프레임워크 및 클러스터 설정

Apple 실리콘에 최적화된 새로운 프레임워크인 MLX는 PyTorch에 비해 향상된 성능을 제공합니다.

MLX는 NVIDIA의 CUDA에 대한 Apple의 답변입니다.

여러 대의 Mac으로 병렬 처리하면 이론적으로 성능이 향상됩니다.

클러스터 설정은 여러 대의 컴퓨터와 더 큰 모델을 사용하여 성능 향상을 테스트하는 것을 목표로 합니다.

EXO는 분산 MLX 클러스터의 설정과 관리를 간소화합니다.

이 실험에서는 다양한 Mac Mini 구성(M4, M4 Pro)을 사용하여 성능을 테스트합니다.

테스트는 단일 모델과 여러 기본 모델의 성능을 비교합니다.

모델 실행을 위해 Wi-Fi 또는 LAN보다 빠른 Thunderbolt 브리지 연결이 입증되었습니다.

EXO는 머신 기능에 따라 모델 청크를 자동으로 배포합니다.

점보 패킷은 네트워크 최적화를 위해 테스트됩니다.

단일 및 다중 머신에서 3.21억 개의 매개변수 모델 테스트를 수행했습니다.

M4 Pro는 기본 M4 모델보다 훨씬 뛰어난 성능을 보여줍니다.

소형 모델의 경우 크기가 아닌 메모리 대역폭이 제한 요소입니다.

썬더볼트 허브를 통해 연결된 두 대의 기본 모델은 단일 머신보다 성능이 떨어지는 것으로 나타났습니다.

두 기본 모델 간에 Thunderbolt를 직접 연결하면 성능이 크게 향상됩니다.

32GB RAM이 장착된 M4는 기본 모델과 비슷한 성능을 보여 M4 칩이 병목 현상을 일으키는 것으로 나타났습니다.

성능 결과: 대형 모델 및 전력 소비

라마 32억 1천만 개의 MLX 직접 실행은 EXO보다 훨씬 빠른 토큰 생성 속도를 보여줍니다.

전체 클러스터 전력 사용량은 약 200와트입니다.

M4와 M4 Pro 머신 간에 온도 차이가 관찰되었습니다.

단일 기본 모델에서 더 큰 모델(Quen 2.5 코더)을 테스트하면 성능이 저하되는 것으로 나타났습니다.

두 개의 기본 모델에서 320억 개의 매개변수 모델을 실행하는 것은 느립니다.

네오트론 70B 모델 성능은 두 대의 M4 Pro 머신에서도 매우 느립니다.

더 큰 모델을 사용한 클러스터 성능 및 결론

5대의 머신 클러스터에서 라마 32억 1천만 개를 실행하면 단일 머신과 비슷한 성능을 보입니다.

5대의 컴퓨터를 모두 사용할 경우 Thunderbolt 허브와의 네트워크 경합으로 인해 성능이 제한됩니다.

4대의 머신에서 320억 개의 Quen 2.5 코더를 실행하면 단일 머신보다 성능이 향상되었지만 여전히 상대적으로 느린 것으로 나타났습니다.

Mac Mini 클러스터와 대용량 RAM 및 GPU가 장착된 하이엔드 MacBook Pro 비교.

대규모 배포 시 비용 고려 사항.

사용 사례에 따라 클러스터 접근 방식이 단일 고성능 컴퓨터보다 항상 우수한 것은 아닐 수도 있습니다.