네 안녕하십니까 SK 텔레콤 어 2건입니다 어 오늘 발표는 이제 고성능 고율 이제 AI 컴퓨팅 환경을 위한 어

차세대 GP 패브릭 및 MV 링크 가상화 기술 관련된 주제가 되겠습니다 오늘 발표는 이제 저랑 김태경 님이

이제 나눠서 진행을 할 예정입니다 첫 파트는 이제 제가 메인으로 이제 진행할 예정이고 이어서 김님이 이제 발표를

진행할 예정입니다 그래서 예 이게 저 저고 빠르게 스킵 하겠습니다 그래서 사실 저희가요 기술 발표 세션이라고

좀 더 이제 어떤 솔루션 얘기도 있지만 주로는 기술 관련된 얘기 위주로 많이 준비를 했고요 그래서 어

물론 뭐요 기술이 적용된 프로덕이 저희는 이제 페타소스라는 이름 하에 요런 솔루션을 개발해서 지금 판매도

하고 있지만요 기술적인 좀 이제 디테일을 좀 알고 싶으신 분들도 계실 것 같아서 저희는 이제 기술 위주의

발표로 준비를 했습니다 그래서 좀 더 이제 인데산 뭐 그런 얘기 얘기를 하고 싶으시면 저희의 아래 1층의

전시부스도 있으니요 오셔 가지고 저희랑 좀 이제 디테일한 얘기를 하시면 될 거 같고요 발표 세션

시간상 저희는 좀 이제 간단한 그 이제 좀 라이트하게 좀 이제 진행하도록 하겠습니다 그래서 페타소스 저희의

사실 이 기술들은 페타소스 클라우드라고 하는 이제 솔루션에 다 인티그레이션 된 이제 기술이라고 보시면 될 거

같고 페타소스라고 하는 거는 이제 원래는 저희가 SKT MEC라고 하는 모바일 엣지 컴퓨팅이라는 이제 솔루션을

만들 때 그 기반이 된 기술로 저희가 처음에 개발을 시작했다가 이제 날이 가면서 이제 저희가 이거에 대한

브랜딩을 이제 만들면서 어 21년도 이제 페터스 이제 그리고 이제 어차피 SKT 데이죠 같이 제가 페터스 하는

브랜드를 만들었고 그다음에 이거를 이제 좀 더 이제 AI 향으로 만든 거가 페터스 AI 하는 플랫폼이

있고요 이거 이제 실제 현재 저희가 텔레콤에서 서비스하고 있는 이제 엑스칼리버의 백엔드 이제 플랫폼으로도

사용하고 있습니다 상용으로 돌리고 있고 그리고 이걸 좀 더 미디어 향으로 발전시킨 거가 이제 페타소스

미디어라고 이제 하는 솔루션이 있고 이거는 미국의 가장 큰 이제 방송사 싱클레어 쪽에 이제 저희가 어 이제

애런스로렌콤 AI 클라우드와 페타스 V 클러스터라고 사설이 길던데 일단 페타스 클라우드에 대한 간단한 설명을 하고 이어서 이제 좀 기술적인 발표로 이어지도록 하겠습니다. 그래서 페타소스 하는 거는 이제 앞서

뭐 AWS 얘기도 많이 했지만 사실 저희는 이제 이런 퍼블릭 클라우드가 아니라 저희는 프레임의 구축형

클라우드를 경험할 수 있도록 해주는 그런 이제 구축형 클라우드 솔루션이라고 보시면 될 거 같고 이게

이제 나온지가 꽤 되다 보니까 사실 저희는 어 저희가 추가고 전 방향은 어 하나의 단일 플랫폼 상의 가상화

컨테이너화 그리고 심지어 쿠베 이까지 하나의 플랫폼에 이제 여러 이기종의 그 워크로드를 한 번에 지원하고자

하는 게 사실 목표입니다. 왜냐면 이걸 안 하게 되면은 뭐 일단 오픈소스 베이스로 간다고 했을 때 가상화를

위해서는 또 오픈스택 써야 되고 쿠 그 컨테이너를 위해서 쿠버네티스를 써야 되고 그 외에 조 인티그레이션 해야

되는데 사실 그러기엔 너무나 복잡해지기 때문에 저희는 그냥 쿠티스 하나로 모든 이제 우리가 원하는

자원들을 다 프로비저닝 해 주는 걸 목표로 설계가 됐다고 보시면 될 거 같고 아무래도 AIDC 가상화로

오게 되면서 어 이제 다양한 뭐 CPU뿐만 아니라 저희는 GPU 혹은 NPU 이런 이제 가속기를 좀 지원하고자 하는 게 목표가 돼서 현재는

이제 엔비디아의 뭐 A100이나 H100 요런 GPU 그다음에 인텔 사이 뭐 가우디와 같은 요런 어 이제 액셀레이터 그리고 AMD MI100 같은

요런 계열에 이제 gpm 모두 다 지원하는 게 사실 목표고 현재는 텔레지 시 그니까 그 저희가 테스트가 완료가

됐고 AMD mi 저희가 현재 지금 QA 중에 있습니다 그래서 뭐 요런 형태고 그리고 뭐 이기종 자원 지원은 요렇게 가상 머신 컨테이너 쿠버네티스

지원한다고 보시면 됐고 저희는 이미 CNCF 인증을 받은 솔루션입니다 그래서 보다시피 다 인증 두 가지 디스트리뷰션 이제 호스트들 둘 다

이제 인증을 받은 상태라서 어 믿고 쓰셔도 될 거 같고 요런 이제 인프라 상에서 여러분들이 원하는 다양한 뭐

ML 옵스 AI 옵스는 뭐 데브옵스 뭐 이런 것들 다 올려서 이제 사용할 수 있게 되는 거죠 그래서 뭐 나오는

질문이 이럴 수 있을 것 같습니다 그렇다면 왜 이런 거를 하냐 그니까 왜 AIDC 가상화를 해서 뭐 하냐

이런 질문이 나올 텐데 사실 저희가 AIDC AI 인프라 하죠, DC 인프라를 가상화 하기 위한 가장 큰 이유 중에 하나가 고가의 GPU 자원을 좀 더 잘 나눠서 여러 명의 테넌트, 여러 명의

사용자 혹은 여러 부서에서 서로 간섭없이 잘 나눠서 사용을 할 수 있는 그런 인프라를 제공하고자 하는 게 사실 목표입니다. 사실 여러분들 보

보면 알겠지만 GPU 한 장이 요즘 굉장히 비쌉니다. 그래서 이거를 특정 부서가 아예 그냥 데디케이션 시켜서

사용하고 하는 건 굉장히 낭비가 심할 수 있어요. 그래서 저희는 이런 인프라를 최대한 잘 가상화 시켜서 원하는

부서들에 잘 나눠 줘 가지고 사용할 수 있도록 하는 그런 기술을 개발한 거고, 사실 가상화 시켰다고 했을 때

사실 저희가 AIDC AI 인프라 하죠, DC 인프라를 가상화 하기 위한 가장 큰 이유 중에 하나가 고가의 GPU 자원을 좀 더 잘 나눠서 여러 명의 테넌트, 여러 명의

항상 나오는 질문이 그겁니다. 그렇다면 가상화했을 때 성능 저하가 없냐, 성능이 떨어질 것 같다, 그니까 이런

이제 질문이 있을 텐데 사실 저희는 성능, 성능 열화는 최소화하면서 그 말로 성능을 극대화하는 거죠.

극대화하면서도 잘 이제 성능 관리, 자원 아이솔레이션을 잘 해서 이제 서로 간섭 없이 지원하는 게 사실 목표가 되겠습니다. 그래서 결과론적으로

봤을 때 요런 식으로 이제 GPU 팜이 쫙 구성이 됐을 때 이제 테넌트가 있어서 이제 테넌트가 서로의 간섭 없이

나는 뭐 테넌트 A면 네 장의 지표로 구성된 고속의 러스트가 필요해 하면 이제 그런 자원을 할당해 주고 뭐 아니면은

이제 뭐 테넌트 B 뭐 나누 여섯 장 아니면 뭐 더 많이 10장, 20장이 필요해 하면 이제 거기 맞게 저희가

이제 GPU 자원을 딱 이제 만들어서 주는 사실 요런 어 플랫폼이라고 보시면 될 것 같고 물론 뭐 저희는

GPU 위주로 했지만 사실 뭐 여러분 일반적으로 쓰는 제너럴 퍼퍼스 클라우드 기능은 저희가 또 다

지원합니다 다만 요거 이제 AI [음악] 중요 가상화 할에 가장 중요한 파트가 뭐가 있냐면요 밑에 있는 이제 MV 링크에 대한 가상화 파트와 저기 보면

GPU 패브릭에 대한 가상화 두 가지가 있습니다 쭉 네트워크 파트에 대한 가상화가 가장 중요한데요 MV 링크라고 하는 거는 요번에 그

엔비디아 GPU 특화 가상화 기술이긴 한데 이게 뭐냐면 칸 노드에 있는 GPU 끼리의 이제 고속 네트워킹

기술이라고 보시면 될 것 같아요 그래서 근데 이제 이거 마저도 저희가 가상화를 시켜야 하지만 한 노드 내에

있는 GP 서로 이제 없이 나눠 가지고 테넌트 테 적용을 할 수 있을게 되거든요 왜냐하면 요걸 가상화 안 하면은 서로 간섭이 일어날 수밖에

없고 그런 이슈들이 있습니다 그래서 요거까지 가상화하고 그리고 이제요 밖으로 나가는 트래픽 아지도 저희는

전부 다 이제 GP 패브릭에 대한 가상화 인피니밴드도 되고 뭐 일반적인 이더넷 되겠죠 요런 거에 대한

가상화가 되겠습니다 그래서 시간상 관계를 빠르게 진행할 건데 보시면 알겠지만 이제 GPU hgx HB 뭐

dgx 마찬가지지만 하나 사게 되면은 요렇게 여덟 장의 GPU 한 통으로 들어오고 뒷단에 보면은 이제 MV 스위치가 네 개 쫙 깔립니다 그래서

GPU 이제 그리고 저 슬라이드에 보시면 알겠지만 GPU은 이제 MV 스위치에 모두 다 NVLink로 연결이 되고 저 링크를 카운팅 해 봤을 때

GP 한 장이 18개 MV 링크를 통해서 지퓨 아 저기 MV 스위치와 연결이 됩니다 그래서 전체적으로 이제 밴드 위를 제 계산해 보면은

900GB per 정도의 성능이 나옵니다 저거는 일반적인 저희가 현존하는 가장 빠른 일반적인 이더넷 스위치나 피드 스위치로도 저 성능을

따라올 수가 없습니다 저 그래서 노드 내에 가상화 할 때 저 성능이 그대로 나와야지만 사실상 이제 가상화 함으로서 성능 없다 그렇게 저 얘기할

수 있고 가상화 있는데 저 성능이 확 떨어진다 사실 그러면 이제 가상화 할 필요가 없겠죠 어 보면 좀 무의미하게

되겠죠 그래서 저희는 최대한 저러한 인부 링크 가상화 기술을 활용해 가지고 이제 성능 열화 없이 이제

요런 피처를 지원하게 사실 목표입니다 그래서 간단하게 살펴보게 되면은 MV 링크 가상화는 뭐냐 했을 때 저희가

일반적으로요 우측에는 이제 GPU, 저 GPU 이제 다른 GPU랑 통신하기 위해서 한 노드 내에서는 MV 스위치의 저 패스를 통해 가지고 이제

통신합니다. 그래서 제일 우측에 보시면 이제 어 스트리밍 이제 멀티 프로세서가 있는데 저 안에 좀 CUDA

코어나 텐서 코어들이 다 있습니다. 저 엄청나게 많은 CUDA 코어가 있습니다. 그래서 여기에서 어떤 연산이 일어나겠죠?  LM 같은 거 돌면 연산이

일어나고 그 연산을 하다가 나중에는 이제 메모리 카피가 일어나는데 메모리 카피가 일어날 때 아래쪽에는 HBM

경유해서 이제 어찌 보면 HBM 쪽에 데이터를 왔다 갔다 하게 되겠죠. 근데 그때 바로 뭐 데이터 익스체인지 안

되고 일반적으로는 MV 스위치를 경유해서 이제 데이터 익스체인지 일어납니다. 그러니까 끼리 통신할 때 그래서 사실 이 MV 스위치가

결국에는 이 끼리의 통신에 대한 이제 제어권을 갖고야 되는 거죠 두 지표가 있을 때 GP 1과 2는 서로 통신을

시켜 시켜 아니면 통신을 이제 못 하게 막거나 요런 것들에 대한 제어권을 전부 MV 스위치가 관리하고

그걸 전 그걸 실제 컨트롤 플레이라고 하는 이제 패브릭 매니저가 그에 대한 전반적인 스트림을 다 관리한다고

보시면 될 것 같습니다 그래서 결과 른쪽으로 패브릭 매니저만 잘 관리하면 한 노드 내에는 GP 끼리의

통신도 저희가 잘 제어할 수 있다 그래서 아이솔레이션 가능하다 그렇게 보시면 될 거 같아요 그래서 요거를

실현하기 위해서 저희가 어떻게 냐면 좀 디테일한 건 저희가 이제 특허도 걸렸고 해서 설명드릴 수 없으나

간단하게요 흐름을 보시게 되면은 MV 스위치를 실제 관 MV 스위치가 아래쪽에 있고 이런 스위치가 각각의

GP 쭉 이제 MV 링크를 통해 연결을 했을 때 MV 스위치를 통째로 이제 패스로 시켜서 서비스 부 하나 만듭니다 이제 서비스 VM 이제

결국에는 이제 이 서비스 VM 내에는 패브릭 매니저라고 하는 이제 데몬이도 도는데요 데몬은 저희가 페터 스스

클라우드에서 잘 관리해 가지고 이제 특정 지표들끼리는 통신 시키고 특정 GP 끼리는 통신 시키지 않는 약간

요런 식의 이제 룰들을 넣는 거죠 그렇게 되면은 이제 저희가 이 노드 내에 있는 GPU 끼리의 트래픽을

스트링 할 수 있습니다 그리고 뭐 게스트 VM 뭐 여러분 알겠지만 그냥 GPU 통째로 PCI 패스 방식으로 이제 VM 테 게스트 VM 테 넘겨

주는 형태라고 보시면 될 것 같고 여기에 재밌는 거는 MV 스위치를 패스한 VM을 패스한 VM 서로 통신이 안 됩니다 저건 완전히

아이솔레이션 되어 있기 때문에 저희 제어 평면이 이제 저 어 서비스 VM을 관리한다 그렇게 보시면 될 거

같아요 그래서 요런 것들은 사실 저희의 기본적인 프레임은 전부 다 쿠버네티스를 바닥에 깔고 시작하기

때문에 모든 소프트웨어는 전부 다 오퍼레이터 형태로 이제 관리가 개발이 되어 있고 해서 요걸로 이제 어 예

관리하고 있다 보시면 될 것 같고 저희 이미도 지원합니다 그래서 HXG 00을 이제 딱 장착하게 되면 저희 플랫폼에서 자동으로 H00 여장이 딱

보입니다 딱 보이고 H 100에서 사용 가능한 뭐 이라니 운용자는 디테일하게 뭐 이게 MV 스위치가 뭐고 이걸 알 필요가

없습니다 그냥 GPU 네 장 GPU 네 장 뭐 PT 해 줘 하고 그거를 VM 시켜 주면은 보시다시피 이제 이건 VM 내에서 저희가 토폴로지를

보는 건데 GPU 네 장이 잘 패수가 된 게 보이고 바로 해서 MV 링크 18개 링크로 잘 인바 인으로 잘 연결되는 걸 볼 수 있고요 이거 실제

뒤에 저희가 성능 평가도 해봤는데 이게 이제 가상화 하지 않고 그냥 베어 메탈에서 그대로 이제 MB으로

수 그니까 GPU끼리 서로 통신 시켰을 때에 밴드위드가 있습니다 그래서 원래는 900GB 퍼이 이런 장의 수치인데

실제 졸려 보면은 한 700 한 70에서 750 사이로 이제 어느 정도 성능이 잘 잘 나옵니다 그래서 이 정도 성능이 나와야지 사실 잘 나오는

거고 요건 이제 그냥 MV 링키 안 쓰고 PCI 했을 때에 성 보시다시피 굉장히 성능이 잘 안 나오게 되겠죠

당연히 PCI-e MV 링크보다 밴드 위세가 되게 작기 때문에 요렇게 하면 이제 성능이 잘 안 나옵니다. 근데 저희는 이거를 아까 네 장 패스를

시켰죠. VM 테스트 그 상태에서도 이제 엔바인 이제 끼리의 밴드 위를 측정해 보면은 거의 성능 열화 없이 거의

1% 미만의 성능 열화가 발생합니다. 그니까 이건 거의 무시할 수준으로 굉장히 작습니다. 그래서 렇게 해서

일반적으로 PCI-e 대비 MV 링크를 가상화할 경우에는 17배 정도의 성능 향상이 있습니다. 그래서 저희 같은 경우에는 이제 뭐 가급적

고성능, 고효율 AI Computing 환경을 위한 차세대 GPU Fabric 및 NVLink 가상화 기술 | SK텔레콤 김태경, 이건

2023년, SK의 AI 기술은 어떤 미래를 그리고 있을까요?
최고의 기술 기업과 전문가들이 경험과 노하우를 나누는 자리에 여러분을 초대합니다.


SK AI SUMMIT 2024

소개 및 Petasource 클라우드 소개

고성능 고율 AI 컴퓨팅 환경을 위한 차세대 GP 패브릭 및 MV 링크 가상화 기술 발표

기술 발표 세션으로 기술 위주로 진행, Petasource 솔루션 언급

Petasource는 SKT MEC 기반 기술로 개발, AI 및 미디어 향 플랫폼으로 발전

퍼블릭 클라우드가 아닌 구축형 클라우드 솔루션으로, 단일 플랫폼 상에서 이기종 워크로드 지원

다양한 가상화 기술(가상 머신, 컨테이너, 쿠버네티스)과 GPU, NPU 등 가속기 지원

고가의 GPU 자원 효율적 사용 및 여러 사용자 간 간섭 없는 자원 공유

가상화에 따른 성능 저하 최소화 및 성능 극대화

테넌트별 필요한 GPU 자원 할당 및 일반적인 클라우드 기능 지원

MV 링크 가상화: 엔비디아 GPU 특화 고속 네트워킹 기술, 노드 내 GPU 자원 공유 및 간섭 방지

GPU 패브릭 가상화: 인피니밴드 및 이더넷 등 네트워크 가상화

MV 링크 가상화 구현 방식 설명 (세부 내용은 특허 관계로 생략)

서비스 VM 및 패브릭 매니저를 통한 GPU 간 통신 제어 및 자원 격리

사용자는 GPU 및 VM 설정만으로 가상화된 환경 사용 가능, 성능 평가 결과 제시

GPU 패브릭(백엔드 네트워크) 구성 및 고속 연결을 통한 RDMA 기반 메시지 전달

분산 학습 및 대용량 모델 처리를 위한 고대역폭 네트워크 필요성

컬렉티브 커뮤니케이션을 통한 GPU 간 병렬 데이터 송수신 및 링 토폴로지 구성

병목 현상 해결을 위한 닉 개수 증가 및 병렬 링 구성

레일 옵티마이저를 통한 효율적인 네트워크 연결 및 트래픽 처리

멀티 노드 환경에서 RDMA 네트워크 격리 및 가상화 필요성

하드웨어 오프로딩을 통한 RDMA 가상화 구현

SR-IOV 및 가상 포트를 이용한 하드웨어 오프로딩 아키텍처 설명

OBS C API 업스트림 통합 및 사용자 편의성 증대

성능 평가 결과: TCP 대비 레이턴시 감소 및 작업 완료 시간 단축

고성능, 고효율 AI Computing 환경을 위한 차세대 GPU Fabric 및 NVLink 가상화 기술 | SK텔레콤 김태경, 이건

고성능, 고효율 AI Computing 환경을 위한 차세대 GPU Fabric 및 NVLink 가상화 기술 | SK텔레콤 김태경, 이건

스크립트