어, 사피온 리벨리온 합병 법인 대표 박성현입니다. 먼저 이제 2시 반인데 무척 무척 졸린 시간일 텐데

영상 한번 보시면서 제가 음악을 특별히 크게 틀어 달라 그러셨습니다. 번 잠을 깨시면 뒤에 말씀 나누도록

하겠습니다. 사실 어 데이터센터인데 이렇게 많은 분들이 와주실 거라고 생각하지는 못했습니다. 이게 그 AI 돌아가고 저희 데이터

센터는 뒷단에 있는 거거든요. 보이지 않는 이쪽에 백본 같은 건데 사실 작게는 저희와 그 SK 생태계에 있는

그리고 더 크게는 대한민국이 AI 전체 텔 윈에서 가장 승부 볼 수 있는 가장 확실한 섹션이 감히

자신하고 있습니다. 그거 관련해서 전 AI 반도체에서 전체 데이터센터 뷰를 가지고 오늘 한 20분에서 25분 말씀드리도록 하겠습니다.

[음악] [음악] 를 a [음악] [음악] [음악] [음악] [음악] [음악] 저희 팀 기존에 대한민국 블리들 뭐가

다를까 항상 그런 질문들을 봤는데 그 첫 번째는 이쪽 왼쪽에서 보시는 저희 팀의 그 다양성이라고 생각하고

있습니다 뭐 훌륭한 탤런트들이 있다 이제 그것과는 별개로 그 이상으로 어 다양한 이쪽에 보면 구성원들의 학교와

이전의 기존 커리어를 모양으로 나타낸 건데 다양한 배경에서 공부하고 서로 다른 배경에서 커리어를 쌓은 분들이

치열하게 고민하면서 만든 이제 대한민국에도 훌륭한 학교들 있고 훌륭한 이제 대기업들이 있다 보니까

기존의 리스트들은 특정 학교 특정 연구실 혹은 특정 회사의 특정 팀들이 나와서 중심적이 된 반면 저희는 이제

공동 창업자뿐만 아니라 지금 현재 조인해 주신 분들조차도 서로 다른 배경에서 커리어를 쌓아서 어 대한민국

감미 자부 학원대 딥 역사상 가장 다이버시티 잘 갖춰진 그런 팀이라고 생각하고 있습니다 이제 두 번째

저희가 창업하고 한 4년쯤 돼서 다양한 벤츠 통해서 저희 기술력들을 홍보하고 인정하고 있는데 그중에

그나마 가장 제가 자랑스럽게 생각하는 것처럼 마지막에 스택 ml이라는게 있습니다 그 월수 쪽에서 사용하는

벤츠인데 시카고에서 마켓 데이터 받아다가 인공지능을 활용해서 마켓 데이터 어널리시스 하고 하이 프시

트레이딩을 위한 오더를 내는 그 배치 1 그 etf 마켓메이킹 레이턴시를 현재도 저희가 월드 레코드를 가지고 있습니다

관련해서 저희가 다른 것보다도 레이턴시 크리티컬 애플리케이션 관련해서는 특화된 아키텍처를 가지고 있다

가장 왼쪽에는 어 좀 제 입으로 이런 말하기는 항상 민망하지만 저희가 지금 한국 대한민국 그 스타트업 신에서

그래도 감히 대세라고 생각하고 있습니다 감사하게도 이제 SK 4편과 합병을 통해서 저희 SK 텔레콤 SK

하이닉스 SK 스퀘어까지 저희 전략적 지원을 해 주시고 계시고 시리즈 A 그 싱가포르 펀드인 테마섹

파빌리온 캐피탈 그리고 최근에는 아람코 더 디지털에서 지금 데이터 센터 만주고 있는 전략적 투자자로

대한민국 스타트업 최초로 저희가 투자를 받았습니다 그 이전에도 이제 프랑스의 콜리아 캐피탈 일본의 디지아 다이아

벤처스 등 어 대한민국 딥테크 A 어떤 역사를 써 내려가고 있다 감히 자부하고 있습니다 현재 사피온 통에서는 합병

이후에는 저희 AI 반도체 최초에 유니콘으로 저희가 기업 같이 그리고 현재 2,500억 이상의 투자금이

유치된 상황입니다 저희 팀 리벨리온을 트레이닝이라 인플루언스 쪽에서 inference에 집중하는

팀입니다 저희가 사실 이게 다양한 채널로 이야기가 나가 제가 가장 정확하게 이야기해 드릴 수 있는 부분은 저희 하드웨어 자체는

인플루언스뿐만 아니라 트레이닝이 되는 구조를 가지고 있습니다 다만 소프트웨어 최적화 포인트들이 다르고

아키텍처 다실 커넥티비티 같은 쪽에서 throughput이 optimized 돼 있는게 있고 latency가 낮은 부분들이 있는데

저희는 현재는 레이턴시 중심에 인플루언스 쪽을 저희가 중심으로 잡고 있고 이후에 여기서 저희가 어떤 마켓

시어를 의미 있게 확보한 이후에는 파인 부분 만에 대한민국에 저희 인프라의 한 축을 담당할 수 있는

트레이닝까지 저희가 바라보고 있습니다 지금 현재는 인플루언스에 집중하고 있는 팀이다 인플루언스 마켓에 대해서는 사실

프로젝션이 너무 다양하게 있습니다 뭐 유럽 마켓 데이터를 갖고 올 건가 미국 쪽의 그 마켓 리서치를 볼

건가에 다르긴 한데 그냥이 기본적인 테이크어웨이 예전에 트레이닝 마켓이었다 이제 인플루언스 마켓으로

이원화가 되고 있고 더 폭발적으로 커 나가고 있다 그니까 뭐가 더 크다 이전에 지금은 뭐 모두들 아시다시피

NVIDIA GPU 거의 각 밸류 체인을 사실 다 독점하고 있습니다. HBM 사실 SK 하이닉스 독점 구조고 파운드리 TSMC 독점 구조의 뭐

이제 그런 구조다 보니까 이게 이원화가 안 되고 있는데 테크니컬 두 개 다를지언정 마켓이 점차 분리되고

있고 거기에 대한 가장 큰 티핑 포인트는 LM 장이었습니다. LM 어마무시하게 많은 연산을 필요하다 보니까 이제 더 이상 이거를 같이 갈

수 없겠다. 그래서 트레이닝이나 인플루언스 마켓이 이렇게 이원화 되고 있고 미국의 하이퍼 스케일러를

기준으로 인플루언스 마켓도 제네레이션의 성질, 모델 크기에 따라서 그리고 시스템 리먼에 따라서 엔비디아조차도

뭐 L4, L4S 같은 GDDR 프덕이 있고 HBM 프덕이 있듯이 트레이닝이나 인스가 다르게 되고 있고 인플루언스

안에서도 마켓이 분화되고 있다 저희는 거기서 인공지능의 레이턴시 크리티컬 애플리케이션을 타겟 하고 있는 팀이다

까지가 저희 팀이 어떤 사람들로 구성되어 있고 어떤 일을 하고 있는 팀으로 이해해주시면 감사하겠습니다 사실 이 슬라이드가 오늘

발표에 17분이 남았네요 이 슬라이드가 오늘 발표의 마스터 슬라이드입니다 혹시 한 장을 찍어야 되시면 령이 어

그냥 너무 당연한 이야기도 한데 예 어유 저도 좀 찍어 주십시오 예 그 너무 당연한 이야기긴 한데 그래도

한번 구조적으로 이렇게 저희가 말씀을 드려야 이거 끝나고 집에 돌아가실 때도 아 저 아저씨가 무슨 이야기를

했는지 남을 것 같아서 데이터센터가 아니라 AI 데이터 센터를 첫 번째 왼쪽부터 가겠습니다 디자인 설계하고 다음에

구축해서 딜리버리 하고 마지막에 효율적으로 매니지 하는 이 세 가지 과정에 있어서 어떤 페인 포인트들이

있고 그 각각 저희 SK SK 생태계에서 어떻게 풀어나갈지에 대한 이야기를 간략하게 드리고 각각에 대한

컴포넌트들 터치하고 다시 리뷰 하도록 하겠습니다 첫 번째 디자인입니다 저쪽 왼쪽 오른쪽에 보시면 디자인 첫 번째

기존의 데이터 센터 무슨 어떤 뭐 EBS 틀어 주고 넷플릭스 틀어 주는 그런 스토리지 기반의 데이터 센터와

다른 AI 데이터 센터가 뭐가 다르냐면 사실 정답 모두들 알고 있습니다 오늘 오전에 그 채팅 회장님 말씀하시고 유영상 대표님 말씀하신 대로

파워 오늘 어 저는 제가 기가와트 이야기를 제가 처음 할 줄 알았는데 이미 앞에 하셔 가지고 기가와 급

특히 오픈 5GW, 저 사우디는 지금 사우디는 보통 공을 하나 더 붙이는 걸 좋아합니다. 50GW에 대한 정말로 스케일이 다른

종류의 전력이 이야기를 하고 있습니다. 저도 오늘 채팅 회장님 톡에서 처음 들었는데 1GW짜리 데이터 센터 짓는데 40

to 50, 그니까 50조 넘어가는 돈이 든다 하더라고요. 어마무시한 그런 근데 그거는 이제 미니멈이고

원기가 Watt 단위로 계속계속 올라가고 있다. 근데 이게 저희가 전력을 이야기할 때 두 개를 좀 더

나눠서 생각해 보시면 조금 더 구조적으로 와닿을 수 있을까. 절대적인 전력 자체가 딱 버지스 옵니다. 어

너희 데이터 센터는 수도권에서 뭐 2GW, 어 너희는 저 본에 가서 1.2GW. 절대적인 파워가 있고

두 번째는 파워 시티라는 게 있습니다 이쪽에 제가 움직이지 못하는데요 무슨 냉장고 같은 그 상면 같은 게

있습니다 이 상면에 딱 이 상면에 얼마만큼의 전력이 들어올 수 있는가 기존에 스토리지 기반이면 한 5 to 6GW 아니 KW 면 내가 다 먹고

삽니다 그냥 쭉 상면 새로 올 수 있는데 뭐 엔비디아 H10000까지 갈 필요도 없습니다 A100 4 유닛

서버 DGX 두 개 딱 하면 유닛은 전체 한 1 겨우 차입니다 그 정도라면 위에 부동산이 놀고 있어야 됩니다 주어진 파워 덴시티 때문에 즉

저희가 뭐 전력이 문제다라고 할 때는 첫 번째 절대적인 티슈를 차지하는 그 파워 버진이 얼마냐 그리고 그거랑

어느 정도는 인디펜던트 하게 파워 덴시티가 뭐보다 중요하다 그래서 이 그래서 어떤 이거 이런 데이터 센터의

가장 기본은 컴퓨팅이고 지금 엔비디아 GPU 되고 이제 그거를 저희가 넘어서겠다는 게 제일 핵심이라는 칩인데

첫 번째 봐주실 게 일단 파워부터 봐 주셔야 되는데 이게 색깔이 키 컬러가 써서 살짝 연한데 파워가 저희 같은

경우는 동일한 그 퍼포먼스 노멀라이즈 했을 때 한 400 정도 한 350에서 400W 정도인 반면에 그

블랙 200 같은 건 1000W 그러니까 거의 두 배 반 이상 저희가 적게 먹습니다 그냥 뭐 퍼포먼스 이런 걸 다 떠나서 절대적인

파워 버짓 자체가 중요한 게임이 됐다 그야말로 기가와트 게임을 하고 있기 때문에 그리고 두 번째는 퍼포먼스 퍼

와이어 이거는 제 에너지 효율에 가까운데 사실 이 장표를 보면 테라 플롭이라고 돼 있습니다가 플로팅 포인트

할 때 보통 플로팅 포인트는 굉장히 GPU 프렌들리한 넘버 든요 그런 GPU 프렌들리한 넘버랑 비교해서도

기존에 있던 칩들 제비가 저희가 에너지 효율이 잘 나오는 칩을 개발하고 있다 단 여기서 제가 이제

사기꾼이 안 되려면 마지막 말을 꼭 드려야 됩니다 저희 칩이 디아보 좋다라고 말하면 안 됩니다 그건 거의

감옥 가는 시나리오입니다 그렇지 않고 저희 팀의 마켓 션이이 상대 보면 비디아 칩은 굉장히

functional divers is much better than US 이거는 5만 종류의 테이션을 다 할 수 있습니다 트레이닝도 할 수 있고 인스도 할 수 있고 비코인 마이도 할

수 있고 얘네들 놀고 있으면 그냥 우리 아들 게임도 시켜 줄 수 있습니다 모든 종류의 어떤 테이션이 잘 돼 있고 소프트 스택도 비교적 그

라이브러리 잘 갖춰져 있다 DNN 같은 것들 반면 인퍼런스 하나에 대해서는 특정을 붙여서 특정 마켓

스케일에 한해서는 보시는 것처럼 절대적인 파워 버짓이랑 에너지 에피시언시가 좋다 그래서 좀 플라스틱 앤 컨

스케일 앞서 말씀드렸듯이 이제 너무너무 비용이 커져서 트레이닝이나 인퍼런스 구별하고 인퍼런스 안에서도 모델

사이즈로 구별되는 그런 상황이 왔을 때 제가 거기서 마켓 시어를 늘려 가겠다고 하는 게 저희 팀의 고투 마켓

전략입니다 더 중요한 건 어 칩에 파워가 얼마냐 PCI 카드 파워가 얼마냐가 칩을 하나를 이것 이것도

꽤 중요합니다 이 칩을 하나를 잘 설계해 놓으면 이 칩을 기반으로 한 PCI 카드 만들 때 그 파워 세이빙이 더 증폭이 됩니다 그러니까

여기서 저전력 설계가 되면 저 카드 단에서 PIM 이라고 하는 인덕터 같은 데 더 세이빙을 할 수가 있고 카드

하나가 더 잘 만들어지면 카드를 여덟 개 혹은 16개 혹은 서버 단에서 더 전력을 아낄 수가 있습니다. 즉 컴퓨

터 그래픽 잘 설계가 되면 위로 위로 올라가면서 그 파워 세이빙이 더 증폭되는 효과가 있습니다. 왜 저기서

저 PCI 카드가 파워를 많이 먹어 버리면 팬을 달아야 됩니다. 데이터센터 한번 가 보신 분 계신지 모르겠습니다. 진짜 비행기 날아가는 소리 나거든요. 왕

돌아가는 거 그 팬이 붙였을 때 250W 먹습니다. 팬 자체가 즉 파워를 적게 먹어서 발열이 적게 되면

그만큼의 파워를 아낄 수 있고 칩에서 카드에서 카드에서 서버 서버를 묶어 놓은 스위치를 통한 그 랙 데이터

센터 레벨에서는 이 파워 세이빙이 계속 계속 큐레이 되고 증폭되는 효과가 있기 때문에 의미 있는 가격 경쟁력을 확보할 수 있다고 생각합니다.

AIDC를 만들기 위해선 컴퓨팅 파워를 갖고 가는 게 필수적이다. 이런 파워 세이빙 관련해서는 저희가 금년 초 ISC에서 발표하고 제가 구글 현장에서 데모했던 내용들, 똑같은 알고리즘은 저희 팀 아톰이랑 비디아 A100 돌리는 것을 데모 영상 보여 드리도록 하겠습니다.

이 전체 실험 구조는 저희가 아니고 MBD, 그 구글에서 잡아 준 거라 보시는 것처럼 구글 알고리즘을 돌리고 A100 당시에 봤던 그 리입니다. 구글의 T5 모델 옆에 그 그린이 저희 쪽이고 A100 비디아 깨 지금 퍼플, 저 보라색입니다. 펑션

그 그 프리시전 때문에 약간씩 다른 게 있고 이제 파워를 보시면 그린인 저희는 거의 뭐 50W 쪽에서 그냥

스테이블 한데 퍼플 쪽을 보시면 전력도 많이 묻지만 업앤 다운이 심합니다 데이터 센터는 워스트 케이스

기준으로 설계가 돼야 되거든요 잡을 때 그래서 전체 에버리지 에너지 피시도 중요하고 파워 컨섬션 그

워크로드이 너무너무 베리에이션이 심하기 때문에 그 워스트 케이스 맞춰줘서 인덕터 설계해야 되는 부분들

두 번째는 이미지 아니죠 텍스트 이미지 스테이블 디퓨전 기반의 그니까 제니아의 모델들인 이거 관련해서는

저희 부스에서 현장 데모를 해 보여 드릴 수 있습니다 보시면 더 빡셉니다 저 퍼플이 더 왔다 갔다가 빡세게

생성형 AI 시대, 리벨리온 AI 추론 전용 솔루션을 활용한 SKT와의 AI DC 사업 진출 전략 | 리벨리온 박성현

2023년, SK의 AI 기술은 어떤 미래를 그리고 있을까요?
최고의 기술 기업과 전문가들이 경험과 노하우를 나누는 자리에 여러분을 초대합니다.


SK AI SUMMIT 2024

사피온 리벨리온 합병 법인 대표 박성현의 자기소개

영상 시청 후 질의응답 진행 예정

데이터센터 방문객 수에 대한 놀라움 표현

데이터센터의 중요성 강조: SK 생태계 및 대한민국 AI 경쟁력 확보

AI 반도체 및 데이터센터 전반에 대한 20-25분 발표 예고

팀 구성원의 다양성 강조: 다양한 배경과 경험

4년간의 기술력 홍보 및 인정, 특히 Stack ML 벤치마크 자랑

대한민국 스타트업계에서의 영향력 및 SK 그룹과의 합병

AI 반도체 유니콘 기업으로서의 성장 및 투자 유치 현황

트레이닝보다 인퍼런스에 집중하는 팀 전략

AI 데이터센터 구축 과정 및 핵심 요소

AI 데이터센터 구축의 세 가지 단계: 디자인, 구축, 관리

AI 데이터센터와 기존 데이터센터의 차이점: 전력 소모량

전력 소모량 고려사항: 절대적인 전력량과 파워 덴시티

엔비디아 GPU 칩 대비 사피온 칩의 에너지 효율 및 성능 비교

트레이닝과 인퍼런스 마켓 분리에 따른 시장 점유율 확대 전략

AI 데이터센터 구축 과정의 어려움과 해결 방안

GPU 수급 문제 및 해결 방안: SK 연합군, 람다 등과의 협력

세컨드/서드 소스 확보 전략: 다양한 마켓 세그먼트 대응

효율적인 GPU 활용 및 관리: 쿠버네티스 기반 시스템 소프트웨어

버티컬 인테그레이션을 통한 시스템 최적화

AI 데이터센터 구축 과정의 핵심 과제 재정리

글로벌 파트너십을 통한 문제 해결 및 협력

크로스 레이어 옵티마이제이션을 통한 경쟁력 확보