그런데 딥시크가 이걸 왜 했느냐라는

걸 생각해 보면 좋을 것 같은 게, 개발 난이도가 엄청 높아요. 엔지니어들

막 갈아넣어서 엄청나게 해야 되는 거예요. 유지보수도 많이 들고, 고빈도

트레이딩을 하는 것에 있어서도 뭐가 필요하겠습니까? 바로 컴퓨팅 자원이

필요하다는 겁니다. 딥시크가 바로 그러한 배경의 엔지니어들을 많이 갖고

있다는 거죠. 네, 안녕하세요, 여러분. 태평양에서 딥시크라는 물 때문에 노

조고 있는 이유입니다. 이게 뭔가 궁금증이 잘 풀리지 않으니까 계속

이렇게 의문이 제기되는 부분들이 있는데, Tom's Hardware 유명한 테크

전문지에서 이런 얘기가 있더라고요. 딥시크의 AI 브레이크스루가

뭐냐? 엔비디아의 CUDA를 바이패스, 즉

우회해서 만들었다. 그래서 뭘 만들었느냐? 엔비디아의 CUDA 라이브러리

PTX 프로그래밍을 대신 사용했다는 겁니다. 뭔가 엔비디아의 CUDA 해자가 드디어

무너지는 거 아니냐, 이것마저도

우회해서 뭔가 했다는 게 아니냐, 이러한 의문을 많이 제기하시더라고요.

진짜로 MBD(Model-Based Design) 많은 거 아니야? 뭐 이런 질문들을 주시길래요. 관련된

내용을 좀 정리해 드리겠습니다. 먼저 CUDA에 대해서 다들 잘 아시겠지만,

그래도 한번 정리하고 넘어가면, CUDA는 결국

NVIDIA에서 만든 GPU, 엔비디아에서만 쓰는 것이 아니라,

엔비디아에서 만든 병렬 컴퓨팅을

위한 플랫폼이라고 보시면 돼요.

CUDA에는 물론 엔비디아 GPU 안에 CUDA라는 이름을 붙인 코어,

하드웨어 장치가 있긴 하지만, 그걸 배제하고 기본적으로 CUDA는 어떤

소프트웨어 플랫폼입니다. 플랫폼이라고

하면 약간 애매해지는 게 있잖아요.

‘플랫폼이 뭐 하는 건데?’라고

물어보신다면, 플랫폼을 활용해서

AI 혹은 GPU 관련 어떤 프로그래밍을 개발자들이 잘 할 수

있다는 겁니다. NVIDIA Developer 사이트죠. 엔비디아에서 제공하는

사이트고, CUDA가 매번 업그레이드되고

있으면서 여러 가지 기능들이 계속 업데이트되고 있습니다.

되고 있습니다. 이 CUDA 자체가 컴퓨터 유니파이드 디바이스 아키텍처

그러니까 엔비디아의 이 하드웨어에 잘

맞도록 어떤 AI 기능을 제공한다거나 이걸 이용해 가지고 AI 개발을

한다거나 이런 것들을 많이 하기 때문에 다른 GPU에 진입을 하려고

해도 뭔가 해자가 될 수 있다라는 얘기가 많이 나왔던 거죠. 결국은 이

GPU가 CPU보다 나왔던 것이 이 병렬적으로 계산을 할 수 있도록

하는 이 아키텍처가 지원이 돼서 가능한 것이었는데, 이런 CUDA라는 개념을 가지고

써서 특정한 프로그래밍 모델, 그리고 이 하드웨어를 드라이브 할 수 있는

드라이버, 거기에다가 AI를 좀 더 빠르게 돌릴 수 있고 굉장히 다양한

라이브러리가 제공이 되거든요. 엔비디아 블로그에서 소개한 내용인데, 요거

보세요. 우리가 실제로 사용하는 건 소비자들이 인터넷을 사용한다거나, 뭐

스피치, 추천, recommendation 이런 식으로 AI를 활용하죠. 뭐 말을 한다거나

번역을 한다거나 이런 식으로 쓸 수 있고, 혹은 상업적으로는 헬스케어,

바이오 쪽이라든가, 아니면 공장, 제조 쪽이라든가, 재무, 증권, 은행 이런

쪽이겠죠. 거기에다가 슈퍼컴퓨팅 쪽은

이제 분자 분석이나 일기예보 등 여러 가지 애플리케이션이 있는데

이런 것들을 애플리케이션을 사용하기 위해 어떤 앱들이 지원하고 어떤

프레임워크가 있느냐 하면, 흔히

아시는 텐서플로우나 파이토치

이런 툴들이 있지 않습니까? 이런 툴들을 사용하는데, 이 툴들이 실제로

엔비디아의 GPU를 사용할 때, 해당하는 CUDA 라이브러리에

딥러닝, 아니면 자연어 처리 관련해서

다 연결해 준다는 거죠. 그래서 GPU를 사용할 수 있는

애플리케이션을 엔비디아가 준비를

하고 있다는 거죠.  다라고 하는 것을 토대로 해서, 엔비디아라는 기업이 결국은

하드웨어 설계만 하는 기업이 아니라, 그걸 베이스로 해서 그 하드웨어의

성능을 최적으로 끌어올리고, 수많은 개발자들이 이걸 토대로 해서

AI 애플리케이션이나 다양한 애플리케이션을 더 수월하게 만들

수 있는 기반이 됐다고 하는데, 이번에 딥시크가 CUDA를

사용하지 않고 바이패스해서 뭔가 어셈블리어 PTX라고 부르는, 이러한

프로그래밍을 사용했다고 얘기를 하고 있거든요. 이 어셈블리어라고 하는

것은 그 언어가 따로 있어요. 굉장히

저수준의 프로그래밍이라고 하는데, 이 저수준과 고수준이라는 말도 어렵죠.

그러니까 쉽게 말해서, C++로 "야,

너 뭐 해? 저거 해!" 딥시크 보고 "뭐 이거 해, 저거 해! 이게 뭐야?"라고

물어보면, 이게 기계임에도 불구하고 굉장히 사람하고 가까운 언어의 형태로

얘기하잖아요. 그러면 그럴수록 고수준입니다. 반대로 기계에 가까운,

기계한테 0과 1, 0과 1. 기계는 사실 0과 1밖에 모르잖아요. 조금 더

간단하게 표현한 방식으로 프로그래밍하는 방법을 저수준의 어셈블리

언어라고 보시면 되는데, 이 딥시크 엔지니어들이 CUDA라는 고수준의 어떤

AI 라이브러리를 활용한 것이 아니라, 이 어셈블리어와 비슷한, 굉장히 그

하드웨어적인 언어로 최적화할 수 있는 그 수준으로 접근해서 최적화를 하고

CUDA를 우회해서 만들었다. 요게 지금 핵심인 겁니다. 그러면 여기서 말하는 이

PTX 프로그램이라는 건 또 뭐냐? 자,

PTX는 parallel thread execution의 줄임말인데, PTX 이렇게 줄임말을 한

거죠. 근데 이거 보세요. 이거 어디 있냐면 지금 CUDA 있습니다. CUDA, CUDA

밑에 있는 어떤 특정한 뭔가 그런

ISA 하면 보통 Instruction Set Architecture라고 부르죠. 그러니까 NVIDIA

GPU를 돌리려고 하는데 CUDA 기반의 어떤 C나 C++ 같은 그런

프로그래밍 언어를 이용해서 컴파일하고

돌릴 수도 있겠지만, 그 중간 단계, 기계어로 가기 전에 중간 단계로서

PTX라는 것을 지금 지원을 하고 있다는 얘기가 되겠습니다. CUDA에서

이것조차도 NVIDIA 안에서 일어난 일이에요. 그러니까 GPU를 사용하는 것이

예를 들어, '나 지금 AI 애플리케이션을 돌릴 건데, 지금 번역해

주는 것을 돌릴 건데, 이렇게 해줘'라고 고수준의 언어로 얘기할 수

있지만, 기계어로 얘기하면은 우리가 알아들을 수 없는 온갖 그 어셈블리

어로 이렇게 표현된 것으로 하겠죠.

근데 그 중간 단계로 조금 더 CUDA를 약간 커스터마이징해서 쓰고

싶은 거예요. 예를 들어 이런 게 되는 겁니다. PTX를 직접 이용하면 보통

우리가 스트리밍 멀티 프로세서라고

하죠. 엔비디아 GPU를 자세히 살펴보시면 그 하드웨어 모듈들이

SM, 스트리밍 멀티 프로세서라고 하는

병렬적으로 동작할 수 있는 여러 가지 모듈로 구성되어 있습니다.

혹은,  표도 마찬가지겠지만, 이런 어떤

레지스터나 어떤 쓰레드를 동시에

수행할 수 있는 여러 가지 것들이 있는데, 이게 기본적으로 CUDA가

지원하고 있는 어떤 덩어리 단위로

운영할 수 있도록 구성되어 있거든요. 근데 요거를 조금

커스터마이징하고, 내가 원하는 방식대로 하드웨어를 좀 더 조절할

딥씨크 개발, NVIDIA CUDA 해자가 무너진다…? 딥시크 AI 퀀트 엔지니어들이 선택한 CUDA 우회 개발의 의미 | PTX

공학박사 '에러'가 전하는
최신 공학/테크/IT/신기술

문의 : Unrealtech2021@gmail.com