그런데 딥시크가 이걸 왜 했느냐라는

걸 생각해 보면 좋을 것 같은 게, 개발 난이도가 엄청 높아요. 엔지니어들

막 갈아넣어서 엄청나게 해야 되는 거예요. 유지보수도 많이 들고, 고빈도

트레이딩을 하는 것에 있어서도 뭐가 필요하겠습니까? 바로 컴퓨팅 자원이

필요하다는 겁니다. 딥시크가 바로 그러한 배경의 엔지니어들을 많이 갖고

있다는 거죠. 네, 안녕하세요, 여러분. 태평양에서 딥시크라는 물 때문에 노

조고 있는 이유입니다. 이게 뭔가 궁금증이 잘 풀리지 않으니까 계속

이렇게 의문이 제기되는 부분들이 있는데, Tom's Hardware 유명한 테크

전문지에서 이런 얘기가 있더라고요. 딥시크의 AI 브레이크스루가

뭐냐? 엔비디아의 CUDA를 바이패스, 즉

우회해서 만들었다. 그래서 뭘 만들었느냐? 엔비디아의 CUDA 라이브러리

PTX 프로그래밍을 대신 사용했다는 겁니다. 뭔가 엔비디아의 CUDA 해자가 드디어

무너지는 거 아니냐, 이것마저도

우회해서 뭔가 했다는 게 아니냐, 이러한 의문을 많이 제기하시더라고요.

진짜로 MBD(Model-Based Design) 많은 거 아니야? 뭐 이런 질문들을 주시길래요. 관련된

내용을 좀 정리해 드리겠습니다. 먼저 CUDA에 대해서 다들 잘 아시겠지만,

그래도 한번 정리하고 넘어가면, CUDA는 결국

NVIDIA에서 만든 GPU, 엔비디아에서만 쓰는 것이 아니라,

엔비디아에서 만든 병렬 컴퓨팅을

위한 플랫폼이라고 보시면 돼요.

CUDA에는 물론 엔비디아 GPU 안에 CUDA라는 이름을 붙인 코어,

하드웨어 장치가 있긴 하지만, 그걸 배제하고 기본적으로 CUDA는 어떤

소프트웨어 플랫폼입니다. 플랫폼이라고

하면 약간 애매해지는 게 있잖아요.

‘플랫폼이 뭐 하는 건데?’라고

물어보신다면, 플랫폼을 활용해서

AI 혹은 GPU 관련 어떤 프로그래밍을 개발자들이 잘 할 수

있다는 겁니다. NVIDIA Developer 사이트죠. 엔비디아에서 제공하는

사이트고, CUDA가 매번 업그레이드되고

있으면서 여러 가지 기능들이 계속 업데이트되고 있습니다.

되고 있습니다. 이 CUDA 자체가 컴퓨터 유니파이드 디바이스 아키텍처

그러니까 엔비디아의 이 하드웨어에 잘

맞도록 어떤 AI 기능을 제공한다거나 이걸 이용해 가지고 AI 개발을

한다거나 이런 것들을 많이 하기 때문에 다른 GPU에 진입을 하려고

해도 뭔가 해자가 될 수 있다라는 얘기가 많이 나왔던 거죠. 결국은 이

GPU가 CPU보다 나왔던 것이 이 병렬적으로 계산을 할 수 있도록

하는 이 아키텍처가 지원이 돼서 가능한 것이었는데, 이런 CUDA라는 개념을 가지고

써서 특정한 프로그래밍 모델, 그리고 이 하드웨어를 드라이브 할 수 있는

드라이버, 거기에다가 AI를 좀 더 빠르게 돌릴 수 있고 굉장히 다양한

라이브러리가 제공이 되거든요. 엔비디아 블로그에서 소개한 내용인데, 요거

보세요. 우리가 실제로 사용하는 건 소비자들이 인터넷을 사용한다거나, 뭐

스피치, 추천, recommendation 이런 식으로 AI를 활용하죠. 뭐 말을 한다거나

번역을 한다거나 이런 식으로 쓸 수 있고, 혹은 상업적으로는 헬스케어,

바이오 쪽이라든가, 아니면 공장, 제조 쪽이라든가, 재무, 증권, 은행 이런

쪽이겠죠. 거기에다가 슈퍼컴퓨팅 쪽은

이제 분자 분석이나 일기예보 등 여러 가지 애플리케이션이 있는데

이런 것들을 애플리케이션을 사용하기 위해 어떤 앱들이 지원하고 어떤

프레임워크가 있느냐 하면, 흔히

아시는 텐서플로우나 파이토치

이런 툴들이 있지 않습니까? 이런 툴들을 사용하는데, 이 툴들이 실제로

엔비디아의 GPU를 사용할 때, 해당하는 CUDA 라이브러리에

딥러닝, 아니면 자연어 처리 관련해서

다 연결해 준다는 거죠. 그래서 GPU를 사용할 수 있는

애플리케이션을 엔비디아가 준비를

하고 있다는 거죠.  다라고 하는 것을 토대로 해서, 엔비디아라는 기업이 결국은

하드웨어 설계만 하는 기업이 아니라, 그걸 베이스로 해서 그 하드웨어의

성능을 최적으로 끌어올리고, 수많은 개발자들이 이걸 토대로 해서

AI 애플리케이션이나 다양한 애플리케이션을 더 수월하게 만들

수 있는 기반이 됐다고 하는데, 이번에 딥시크가 CUDA를

사용하지 않고 바이패스해서 뭔가 어셈블리어 PTX라고 부르는, 이러한

프로그래밍을 사용했다고 얘기를 하고 있거든요. 이 어셈블리어라고 하는

것은 그 언어가 따로 있어요. 굉장히

저수준의 프로그래밍이라고 하는데, 이 저수준과 고수준이라는 말도 어렵죠.

그러니까 쉽게 말해서, C++로 "야,

너 뭐 해? 저거 해!" 딥시크 보고 "뭐 이거 해, 저거 해! 이게 뭐야?"라고

물어보면, 이게 기계임에도 불구하고 굉장히 사람하고 가까운 언어의 형태로

얘기하잖아요. 그러면 그럴수록 고수준입니다. 반대로 기계에 가까운,

기계한테 0과 1, 0과 1. 기계는 사실 0과 1밖에 모르잖아요. 조금 더

간단하게 표현한 방식으로 프로그래밍하는 방법을 저수준의 어셈블리

언어라고 보시면 되는데, 이 딥시크 엔지니어들이 CUDA라는 고수준의 어떤

AI 라이브러리를 활용한 것이 아니라, 이 어셈블리어와 비슷한, 굉장히 그

하드웨어적인 언어로 최적화할 수 있는 그 수준으로 접근해서 최적화를 하고

CUDA를 우회해서 만들었다. 요게 지금 핵심인 겁니다. 그러면 여기서 말하는 이

PTX 프로그램이라는 건 또 뭐냐? 자,

PTX는 parallel thread execution의 줄임말인데, PTX 이렇게 줄임말을 한

거죠. 근데 이거 보세요. 이거 어디 있냐면 지금 CUDA 있습니다. CUDA, CUDA

밑에 있는 어떤 특정한 뭔가 그런

ISA 하면 보통 Instruction Set Architecture라고 부르죠. 그러니까 NVIDIA

GPU를 돌리려고 하는데 CUDA 기반의 어떤 C나 C++ 같은 그런

프로그래밍 언어를 이용해서 컴파일하고

돌릴 수도 있겠지만, 그 중간 단계, 기계어로 가기 전에 중간 단계로서

PTX라는 것을 지금 지원을 하고 있다는 얘기가 되겠습니다. CUDA에서

이것조차도 NVIDIA 안에서 일어난 일이에요. 그러니까 GPU를 사용하는 것이

예를 들어, '나 지금 AI 애플리케이션을 돌릴 건데, 지금 번역해

주는 것을 돌릴 건데, 이렇게 해줘'라고 고수준의 언어로 얘기할 수

있지만, 기계어로 얘기하면은 우리가 알아들을 수 없는 온갖 그 어셈블리

어로 이렇게 표현된 것으로 하겠죠.

근데 그 중간 단계로 조금 더 CUDA를 약간 커스터마이징해서 쓰고

싶은 거예요. 예를 들어 이런 게 되는 겁니다. PTX를 직접 이용하면 보통

우리가 스트리밍 멀티 프로세서라고

하죠. 엔비디아 GPU를 자세히 살펴보시면 그 하드웨어 모듈들이

SM, 스트리밍 멀티 프로세서라고 하는

병렬적으로 동작할 수 있는 여러 가지 모듈로 구성되어 있습니다.

혹은,  표도 마찬가지겠지만, 이런 어떤

레지스터나 어떤 쓰레드를 동시에

수행할 수 있는 여러 가지 것들이 있는데, 이게 기본적으로 CUDA가

지원하고 있는 어떤 덩어리 단위로

운영할 수 있도록 구성되어 있거든요. 근데 요거를 조금

커스터마이징하고, 내가 원하는 방식대로 하드웨어를 좀 더 조절할

딥씨크 개발, NVIDIA CUDA 해자가 무너진다…? 딥시크 AI 퀀트 엔지니어들이 선택한 CUDA 우회 개발의 의미 | PTX

공학박사 '에러'가 전하는
최신 공학/테크/IT/신기술

문의 : Unrealtech2021@gmail.com

안될공학 - IT 테크 신기술

딥시크의 CUDA 우회 개발 배경 및 CUDA 소개

딥시크의 CUDA 우회 개발 이유는 높은 개발 난이도와 막대한 컴퓨팅 자원 필요성 때문

고빈도 트레이딩을 위한 컴퓨팅 자원 확보 중요성 강조

Tom's Hardware의 보도를 인용, 딥시크의 AI 브레이크스루는 엔비디아 CUDA 바이패스

CUDA는 엔비디아의 병렬 컴퓨팅 플랫폼으로, 소프트웨어 플랫폼임을 설명

CUDA 플랫폼을 활용한 AI 및 GPU 프로그래밍 개발 용이성 강조

CUDA가 다른 GPU 진입 장벽으로 작용한다는 점 언급

PTX 프로그래밍 및 CUDA와의 비교

딥시크는 CUDA 대신 PTX(parallel thread execution) 프로그래밍 사용

고수준 언어(C++)와 저수준 언어(어셈블리어) 비교 설명

딥시크는 하드웨어적인 언어로 최적화하여 CUDA 우회

PTX는 CUDA 밑에 있는 ISA(Instruction Set Architecture)의 중간 단계

PTX 직접 이용 시 스트리밍 멀티 프로세서 등 하드웨어 모듈 제어 가능

CUDA 툴킷 사용보다 PTX 사용은 개발 난이도가 높지만 하드웨어 제어 자유도 증가

딥시크의 PTX 사용 이유 및 고빈도 트레이딩과의 연관성

딥시크의 PTX 사용 이유는 높은 개발 난이도와 엔비디아 의존성 감소 때문

성능 향상을 위해 막대한 시간과 자본 투입

딥시크는 AI 퀀트 회사로, 고주파 트레이딩(HFT)에 PTX 최적화 적용

고빈도 트레이딩에서 컴퓨팅 자원의 중요성과 지연의 위험성 강조

PTX 사용 목적은 레이턴시 감소를 통한 성능 향상

H800의 대역폭 제한 문제 해결을 위한 PTX 최적화 추정

전문가들은 CUDA 해자 붕괴 주장에 대한 반박 제시

PTX는 GPU 어셈블리 언어와 유사하며, 성능 향상을 위한 선택

PTX 사용은 특정 분야에 국한되며, 전반적인 AI 플랫폼에 적용하기는 어려움

PTX를 통한 최적화는 전력 소모 감소와 성능 향상 가능성 제시

딥시크는 H800의 대역폭 문제 해결을 위해 PTX 최적화를 선택

딥시크의 AI 기반 엔지니어링 경험이 PTX 접근 용이성에 기여