사피온 리벨리온 합병법인 대표 박성현입니다. 먼저 이제 2시 반인데 무척 무척 졸린 시간일 텐데, 영상 한번 보시면서 제가 음악을 특별히 크게 틀어 달라 그러셨습니다.

한번 잠을 깨시면 뒤에 말씀 나누도록 하겠습니다. 사실 어 데이터센터인데 이렇게 많은 분들이 와주실 거라고 생각하지는 못했습니다.

이게 그 AI가 돌아가고 저희 데이터센터는 뒷단에 있는 거거든요. 보이지 않는 이쪽에 백본 같은 건데 사실 작게는 저희와 그 SK 생태계에 있는, 그리고 더 크게는 대한민국이 AI 전체 테일윈드에서 가장 승부 볼 수 있는 가장 확실한 섹션이 감히 자신하고 있습니다.

그거 관련해서 전 AI 반도체에서 전체 데이터센터 뷰를 가지고 오늘 한 20분에서 25분 말씀드리도록 하겠습니다.

를 A  저희 팀 기존에 대한민국 플레이어들과 뭐가 다를까 항상 그런 질문들을 받는데 그 첫 번째는 이쪽 왼쪽에서 보시는 저희 팀의 그 다양성, 다이버시티라고 생각하고 있습니다.

이제 그것과는 별개로 그 이상으로 다양한 이쪽에 보면 구성원들의 학교와 이전의 기존 커리어를 모양으로 나타낸 건데 다양한 배경에서 공부하고 서로 다른 배경에서 커리어를 쌓은 분들이 치열하게 고민하면서 만든 이제 대한민국에도 훌륭한 학교들 있고 훌륭한 이제 대기업들이 있다 보니까 기존의 리스트들은 특정 학교, 특정 연구실, 혹 특정 회사의 특정 팀들이 나와서 중심적이 된 반면 저희는 이제 공동 창업자뿐만 아니라 지금 현재 조인해 주신 분들조차도 서로 다른 배경에서 커리어를 쌓아서 어 대한민국 반도체 딥테크 역사상 가장 다이버시티 잘 갖춰진 그런 팀이라고 생각하고 있습니다.

이제 두 번째 저희가 창업하고 한 4년쯤 돼서 다양한 벤치마크 테스트를 통해서 저희 기술력들을 홍보하고 인정받고 있는데, 그중에 그나마 가장 제가 자랑스럽게 생각하는 것은 마지막에 스택 ML이라는 게 있습니다.

그 월스트리트 쪽에서 사용하는 벤치마크인데, 시카고에서 마켓 데이터 받아다가 인공지능을 활용해서 마켓 데이터 분석하고 하이 프리퀀시 트레이딩을 위한 오더를 내는 그 벤치마크, 그 ETF 마켓 메이킹 레이턴시를 현재도 저희가 월드 레코드를 가지고 있습니다.

관련해서 저희가 다른 것보다도 레이턴시 크리티컬 애플리케이션 관련해서는 특화된 아키텍처를 가지고 있다 가장 왼쪽에는 어 좀 제 입으로 이런 말하기는 항상 민망하지만 저희가 지금 한국 대한민국 그 스타트업 씬에서 그래도 감히 대세라고 생각하고 있습니다.

감사하게도 이제 SK 계열사들과 합병을 통해서 저희 SK텔레콤, SK 하이닉스, SK스퀘어까지 저희 전략적 지원을 해주고 계시고 시리즈 A 그 싱가포르 국부 펀드인 테마섹 리벨리온 캐피탈 그리고 최근에는 아람코 더 디지털에서 지금 데이터 센터만 주고 있는 전략적 투자자로 대한민국 스타트업 최초로 저희가 투자를 받았습니다.

그 이전에도 이제 프랑스의 콜리아 캐피탈, 일본의 디지아 다이아 벤처스 등 대한민국 딥테크 AI 어떤 역사를 써 내려가고 있다 감히 자부하고 있습니다.

현재 사피온과의 합병 이후에는 저희 AI 반도체 최초의 유니콘으로 저희가 기업 가치 그리고 현재 2,500억 이상의 투자금이 유치된 상황입니다.

저희 팀 리벨리온은 트레이닝과 인퍼런스 쪽에서 인퍼런스에 집중하는 팀입니다.

저희가 사실 이게 다양한 채널로 이야기가 나가 제가 가장 정확하게 이야기해 드릴 수 있는 부분은 저희 하드웨어 자체는 인퍼런스뿐만 아니라 트레이닝이 되는 구조를 가지고 있습니다.

다만 소프트웨어 최적화 포인트들이 다르고 아키텍처, 다실 커넥티비티 같은 쪽에서 스루풋 오리엔트 되어 있는 게 있고, 레이턴시 오리엔트한 부분들이 있는데 저희는 현재는 레이턴시 중심의 인퍼런스 쪽을 저희가 중심으로 잡고 있고, 이후에 여기서 저희가 어떤 마켓 셰어를 의미 있게 확보한 이후에는 파인 부분만에 대한민국에 저희 인프라의 한 축을 담당할 수 있는 트레이닝까지 저희가 바라보고 있습니다.

지금 현재는 인퍼런스에 집중하고 있는 팀이다. 인퍼런스 마켓에 대해서는 사실 프로젝션이 너무 다양하게 있습니다.

뭐 유럽 마켓 데이터를 갖고 올 건가, 미국 쪽의 그 마켓 리서치를 볼 건가에 다르긴 한데, 그냥 이 기본적인 테이크어웨이 예전에 트레이닝 마켓이었다 이제 인퍼런스 마켓으로 이원화가 되고 있다.

더 폭발적으로 커 나가고 있다. 그러니까 뭐가 더 크다.

이전에 지금은 뭐 모두들 아시다시피 엔비디아 GPU 거의 각 밸류 체인만 사실 다 독점하고 있습니다.

HBM 사실 SK하이닉스 독점 구조고 파운더리 TSMC 독점 구조의 뭐 이제 그런 구조다 보니까 이게 이원화가 안 되고 있는데, 테크니컬 두 개 다를지언정 마켓이 점차 분리되고 있고 거기에 대한 가장 큰 티핑 포인트는 LLM 장이었습니다.

LLM이 어마무시하게 많은 연산을 필요하다 보니까 이제 더 이상 이거를 같이 갈 수 없겠다.

그래서 트레이닝이나 인퍼런스 마켓이 이렇게 이원화되고 있고 미국의 하이퍼스케일러를 기준으로 인퍼런스 마켓도 제너레이티브 AI의 성질, 모델 크기에 따라서 그리고 시스템 리콰이어먼트에 따라서 엔비디아조차도 뭐 L4, L4S 같은 GDDR 프로덕이 있고 HBM 프로덕이 있듯이 트레이닝이나 인퍼런스가 다르게 되고 있고 인퍼런스 안에서도 마켓이 분화되고 있다.

저희는 거기서 인퍼런스의 레이턴시 크리티컬 애플리케이션을 타겟하고 있는 팀이다.

까지가 저희 리벨리온이 어떤 사람들로 구성되어 있고 어떤 일을 하고 있는 팀으로 이해해 주시면 감사하겠습니다.

사실 이 슬라이드가 오늘 발표에 17분이 남았네요.

이 슬라이드가 오늘 발표의 마스터 슬라이드입니다.

혹시 한 장을 찍어야 되시면 그냥 너무 당연한 이야기도 한데. 예.

어유, 저도 좀 찍어 주십시오. 예. 그 너무 당연한 이야기긴 한데 그래도 한번 구조적으로 이렇게 저희가 말씀을 드려야 이거 끝나고 집에 돌아가실 때도 아 저 아저씨가 무슨 이야기를 했나가 남을 것 같아서 데이터센터가 아니라 AI 데이터 센터를 첫 번째 왼쪽부터 가겠습니다.

디자인 설계하고 다음에 구축해서 딜리버리 하고 마지막에 효율적으로 매니지하는 이 세 가지 과정에 있어서 어떤 페인 포인트들이 있고 그 각각 저희 SK 생태계에서 어떻게 풀어나갈지에 대한 이야기를 간략하게 드리고 각각에 대한 컴포넌트들 터치하고 다시 리뷰하도록 하겠습니다.

첫 번째 디자인입니다. 저쪽 왼쪽 오른쪽에 보시면 디자인 첫 번째 기존의 데이터 센터, 무슨 어떤 뭐 EBS 틀어주고 넷플릭스 틀어주는 그런 스토리지 기반의 데이터 센터와 다른 AI 데이터 센터가 뭐가 다르냐면 사실 정답 모두들 알고 있습니다.

오늘 오전에 그 최태원 회장님 말씀하시고 유영상 대표님 말씀하신 대로 파워.

오늘 어 저는 제가 기가와트 이야기를 제가 처음 할 줄 알았는데 이미 앞에 하셔 가지고 기가와트급, 특히 5GW.

저 사우디는 지금 사우디는 보통 공을 하나 더 붙이는 걸 좋아합니다.

50GW에 대한 정말로 스케일이 다른 종류의 전력을 이야기를 하고 있습니다.

저도 오늘 최태원 회장님 톡에서 처음 들었는데 1GW짜리 데이터 센터 짓는데 40 to 50, 그러니까 50조 넘어가는 돈이 든다 하더라고요.

어마무시한 그런. 근데 그거는 이제 미니멈 그이고 1GW 단위로 계속 계속 올라가고 있다.

근데 이게 저희가 전력을 이야기할 때 두 개를 좀 더 나눠서 생각해 보시면 조금 더 구조적으로 와닿을 수 있을까?

절대적인 전력 자체가 딱 버지스 옵니다. 어, 너희 데이터 센터는 수도권에서 뭐 2GW, 어, 너희는 저 본에 가서 1.2GW.

절대적인 파워 버짓이 있고 두 번째는 파워 덴시티라는 게 있습니다.

이쪽에 제가 움직이지 못하는데요. 무슨 냉장고 같은 그 상면 같은 게 있습니다.

이 상면에 딱 이 상면에 얼마만큼의 전력이 들어올 수 있는가?

기존에 스토리지 기반이면 한 5 to 6kW면 내가 다 먹고 삽니다.

그냥 쭉 상면 채울 수 있는데 뭐 엔비디아 H100까지 갈 필요도 없습니다.

A100 4유닛 서버 DGX 두 개 딱 하면 유닛은 전체 한 1 겨우 차입니다.

그 정도라면 위에 부동산이 놀고 있어야 됩니다.

주어진 파워 덴시티 때문에. 즉 저희가 뭐 전력이 문제다라고 할 때는 첫 번째 절대적인 티슈를 차지하는 그 파워 버짓이 얼마냐?

그리고 그거랑 어느 정도는 인디펜던트하게 파워 덴시티가 무엇보다 중요하다.

그래서 어떤 이런 데이터 센터의 가장 기본은 컴퓨 그리드도 지금 엔비디아 GPU가 되고 이제 그거를 저희가 넘어서겠다는 게 리벨리온이라는 칩인데 첫 번째 봐주실 게 일단 파워부터 봐 주셔야 하는데 이게 색깔이 키 컬러가 써서 살짝 영하인데 파워가 저희 같은 경우는 동일한 그 퍼포먼스 노멀라이즈 했을 때 한 400W 정도, 한 350에서 400W 정도인 반면에 그 블랙웰 200 같은 경우는 1000W.

그러니까 거의 두 배 반 이상 저희가 적게 먹습니다. 그냥 뭐 퍼포먼스 이런 걸 다 떠나서 절대적인 파워 버짓 자체가 중요한 게임이 됐다.

그야말로 기가와트 게임을 하고 있기 때문에.

그리고 두 번째는 퍼포먼스 퍼 와트.

이거는 제 에너지 효율에 가까운데 사실 이 장표를 보면 테라 플이라 돼 있습니다.

플로팅 포인트 할 때 보통 플로팅 포인트는 굉장히 GPU 프렌들리한 넘버 든요.

그런 GPU 프렌들리한 넘버랑 비교해서도 기존에 있던 칩들 대비가 저희가 에너지 효율이 잘 나오는 칩을 개발하고 있다.

단 여기서 제가 이제 사기꾼이 안 되려면 마지막 말을 꼭 드려야 됩니다.

저희 칩이 엔비디아보다 좋다라고 말하면 안 됩니다. 그건 거의 감옥 가는 시나리오입니다.

그렇지 않고 저희 팀의 마켓 포지셔닝이 상대 보면 엔비디아 칩은 굉장히 functional diversity is much better than us.

이거는 5만 종류의 테스크를 다 할 수 있습니다.

트레이닝도 할 수 있고 인퍼런스도 할 수 있고 비트코인 마이닝도 할 수 있고 얘네들 놀고 있으면 그냥 우리 아들 게임도 시켜 줄 수 있습니다.

모든 종류의 어떤 테스크들이 잘 돼 있고 소프트웨어 스택도 비교적 그 라이브러리 잘 갖춰져 있다.

DNN 같은 것들. 반면 인퍼런스 하나에 대해서는 특정을 붙여서 특정 마켓 세그먼트에 한해서는 보시는 것처럼 절대적인 파워 버짓이랑 에너지 에피션시가 좋다.

그래서 좀 플라스 앤 컨 스고 앞서 말씀드렸듯이 이제 너무너무 비용이 커져서 트레이닝이나 인퍼런스 구별하고 인퍼런스 안에서도 모델 사이즈로 구별되는 그런 상황이 왔을 때 제가 거기서 마켓 시어를 늘려 가겠다고 하는 게 저희 팀의 고투 마켓 전략입니다.

더 중요한 건 어 칩에 파워가 얼마네, PCI 카드 파워가 얼마네가 칩을 하나를 이 이것 이것도 꽤 중요합니다.

이 칩을 하나를 잘 설계해 놓으면 이 칩을 기반으로 한 PCI 카드 만들 때 그 파워 세이빙이 더 증폭이 됩니다.

그니까 여기서 저전력 설계가 되면 저 카드 단에서 PMIC라고 하는 인덕터 같은 데서 더 세이빙을 할 수가 있고 카드 하나가 더 잘 만들어지면 카드를 여덟 개 혹은 16개 꽂는 서버 단에서 더 전력을 아낄 수가 있습니다.

즉 컴퓨 터가 잘 설계가 되면 위로 위로 올라가면서 그 파워 세이빙이 더 증폭되는 효과가 있습니다.

왜 저기서 저 PCI 카드가 파워를 많이 먹어 버리면 팬을 달아야 됩니다.

데이터센터 어 가 보신 분 계신지 모르겠습니다.

진짜 비행기 날아가는 소리 나고 왕 돌아가는 거 그 팬이 붙였을 때 250W 먹습니다.

팬 자체가 즉 파워를 적게 먹어서 발열이 적게 되면 그만큼의 파워를 아낄 수 있고 칩에서 카드에서 카드에서 서버 서버를 묻혀놓은 스위치를 통한 그 랙 데이터센터 레벨에서는 이 파워 세이빙이 계속계속 큐뮬레이트 되고 증폭되는 효과가 있기 때문에 의미 있는 가격 경쟁력, AI DC 만들기 위해선 컴퓨트 그를 갖고 가는 게 필수적이다.

이런 파워 세이빙 관련해서는 저희가 금년 초 ISC 발표하고 제가 구글 현장에서 데모 했던 내용들 똑같은 알고리즘은 저희 팀 아톰이랑 엔비디아 A100 돌리는 거 데모 영상 보여 드리도록 하겠습니다.

이 전체 실험 구조는 저희가 아니고 엔비디아 그 구글에서 잡아 준 거라 보시는 것처럼 구글 알고리즘을 돌리고 A100 당시에 봤던 그 그림입니다.

구글의 T5 모델 옆에 그 그린이 저희 쪽이고, A100 엔비디아 쪽은 지금 퍼플, 저 보라색입니다.

펑션 그 프리시전 때문에 약간씩 다른 게 있고, 이제 파워를 보시면 그린인 저희는 거의 뭐 50W 쪽에서 그냥 스테이블 한데 퍼플 쪽을 보시면 전력도 많이 먹지만 업앤 다운이 심합니다.

데이터 센터는 워스트 케이스 기준으로 설계가 돼야 되거든요. 잡을 때.

그래서 전체 에버리지 에너지 이피션시도 중요하고, 파워 컨섬션 그 워크로드가 너무너무 베리에이션이 심하기 때문에 그 워스트 케이스에 맞춰져서 인덕터 설계해야 되는 부분들.

두 번째는 이미지 아니죠. 텍스트 투 이미지 스테이블 디퓨전 기반의, 그니까 제너레이티브 AI 모델들인데, 이거 관련해서는 저희 부스에서 현장 데모를 해 보여 드릴 수 있습니다.

저 퍼플이 더 왔다 갔다가 빡세게 되고 더 많은 파워를 먹고 평균적으로도 파워도 많이 먹지만, 워스트 케이스 기준으로도 저희는 항상 75W 언더 PCI 카드 기준으로 저희가 익스트라 파워 케이블을 붙일 이유가 없다.

저희가 다시 말씀드려 어떤 아직까지 소프트웨어 에코 시스템에서 저희가 완벽하진 않지만, 인퍼런스에 한해서 특히 VM 특정 뭐 하나 잡아서 도커 붙여서 그런 그런 소프트웨어 스택을 쌓는 과정에서는 분명하게 파워랑 에너지 에피션시 효율이 있는 작품을 저희가 현재 딜리버하고 있다라고 자신 있게 말씀드릴 수 있겠습니다.

두 번째입니다. 아까 제가 세 개를 구조적으로 말씀드리겠다고 했는데, 두 번째 이제 디플로이해서 이 저 구축하고 디플로이하는 데 어, 내가 AI 데이터센터 사업을 할 거야.

기존의 데이터 센터 사업과 다르게 뭐가 가장 문제가 되냐? 말할 필요가 없습니다.

엔비디아 GPU 어떻게 수급하느냐가 가장 큰 챌린지입니다.

어느 정도 볼륨의 엔비디아 GPU를 안정적으로 좋은 조건으로 가져오는 가장 큰 키 챌린지는 사실 이거는 근데 어차피 케파가 정해져 있습니다.

엔비디아 케파도 정해져 있고, 그 역시 독점하고 있는 SK 하이닉스 케파도 앞단에서 TSMC 케파가 정해져 있고, 필요로 하는 곳은 많기 때문에 여기에 대해서 저희가 가장 중요한 건 엔비디아와 뭐 지금 SK 저 연합군에 있어서 람다 같은 좋은 솔루션도 있고, 그렇게 하는 노력이 1차적으로 돼야 되고, 2차적으로 보다 좀 호흡을 길게는 세컨 소스랑 서드 소스들을 확보해야 됩니다.

이건 단순히 뭐 넌 엔비디아뿐만 아니라 넌까지 사실 이제 반도체 쪽은 지정학적 이슈가 상당합니다.

중동 같은 데 가보면 그 각각의 카테고리별로 세컨 소스, 서드 소스들을 트레이닝 인스 다르게, 인스 안에서도 각 마켓 세그먼트에 맞게끔 가져가겠다고 하는 게 지금 미국 하이퍼스케일 중심으로 만들어진 움직임입니다.

이거에 대한 대표적인 예가 저희 리벨리온이 지금 SK와 함께 이 그 저 사우디아라비아 그 아람코와 하고 있는 그 프로젝트이기도 합니다.

저희가 앞서 말씀드렸듯이 대한민국 스타트업 최초로 아람코 쪽에 투자를 받아서 아람코 전체 마켓 캡이 트릴리언, 그러니까 뭐 2경 막 이런 회사입니다.

이 저희 같은 그 짜바리 회사랑 놀아야 될 그런 이 덩치가 아님에도 불구하고 픽업해서 투자까지 해서 콜래보레이션 할 수 있는 이유에는 그 예전에 엔비디아 규제가 당했던 부분 때문에 넌 엔비디아 프로덕이 필요하고 넌 US 프로덕이 필요하다.

그걸 어떻게 소싱할 것인가에 대한 이유에서 이렇게 나오고 있습니다.

이거 근데 지오리 이슈를 넘어서서 지금 엔비디아 수급 자체가 좋지 않기 때문에 세컨 소스, 그러니까 굉장히 디가 필요할 땐 필요한 거 쓰고 트레이닝을 할 때 인프런스 안에서도 가격 코스트 이펙티브하게 쓸 수 있는 부분들은 온으로 가고 클라우드가 저 이후에 설명해 드릴 내용에 따라서 다변화하는 과정에서 저희가 아람코랑 하고 있고 다시 SK SKT 텔레콤과 함께 쓰라고 하는 이쪽도 아랍어 자체 모델들이 있습니다.

거기서 저희가 협업하는 모델들이 두 번째, 이거 구축하는 가운데 엔비디아 GPU를 어떻게 소싱할 거냐에 대한 나름의 솔루션이라고 이해해 주시면 되겠습니다.

어, 세 번째는 저도 좀 준비를 해 놨는데 이거는 사실 더 데이 SK텔레콤에 나오셔서 GPU 에지 서비스라든지 이제 그 쿠버네티스 어떻게 붙일지 저도 무척 기대되는 부분인데, 관련된 것들.

그리고 더 그러니까 컨셉 자체는 이렇습니다. 소프트웨어 하시는 분들은 익숙하실 텐데, GPU를 막 해놓는데 이걸 효율적으로 계속 계속 붙여서 써야 되는, 유틸라이제이션 높여야 되는 게임들이 있습니다.

그러려 보면 각 디바이스 단에서 저희한테 모니터링 시그널도 줘야 됩니다.

붙여서 돌자. 끝내고 잡아서 돌리자. 디바이스 레벨에서, 스위치 레벨에서, 심지어 랙 레벨에서 이걸 돌리고 이거는 어 전 세계에서 저는 제일 잘하는 데가 펭귄 있는 그 그 이름이 그 클러스터 클러스터 왓 그 이름이 잠깐 저희가 지금 거기에 붙이고 있는데 그런 솔루션들을 통해서 그 SKT 자체적인 솔루션을 통해서 제가 이렇게 매니징 효율적으로 매니징 하는 걸 하고 있다.

생성형 AI 시대, 리벨리온 AI 추론 전용 솔루션을 활용한 SKT와의 AI DC 사업 진출 전략 | 리벨리온 박성현

2023년, SK의 AI 기술은 어떤 미래를 그리고 있을까요?
최고의 기술 기업과 전문가들이 경험과 노하우를 나누는 자리에 여러분을 초대합니다.


생성형 AI 시대, 리벨리온 AI 추론 전용 솔루션을 활용한 SKT와의 AI DC 사업 진출 전략 | 리벨리온 박성현

Scripts