네 그 제가 사실 오늘 여기 이 행사에 참여하러 오면서 좀 많은 생각이 들더라고요 사실 뒤에도 제가

뭐 제 소개하면서 좀 간단하게 말씀을 드리겠지만 슬라이드 켜놓고 할까요? 어 그 저는 주로 이제 소프트웨어

스택에서 일을 많이 했고요 그리고 남수 장님께서 방금 이제 하드웨어 쪽 어 특히 이쪽 관련해서 어 좋은

말씀해 주셔 가지고 어 요번 어 톡은 약간 좀 소프트웨어 스택 관련된 얘기를 좀 드리고 그리고 이제

마지막에 어 지금 아까도 말씀하셨듯이 어 이제 함께 해야 된다 저도 굉장히 공감하는

메시지고 데이터 시스템 프리 텔코 트랜스포메이션은 어 어느 방향으로 가야 되느냐 어 제 관점이고 얼리 어

아마 팀장님은 좀 더 이제 하드웨어 쪽에서 어 넓은 뷰를 가지고 계실 거라고 생각하고 있습니다 그래서

오늘은요 순서대로 톡을 진행해 보도록 하겠습니다 어 사실 항상 뭐 뭐든 이제 메시지를 드리기 전에 어

메시지가 신뢰가 있어야 되니까 제 자랑을 좀 하고 넘어가도록 하겠습니다 네 어 지난 한 7년 정도

여기 뭐 제가 있었던 이제 어 팀이죠 팀 로고 뭐 플러스 회사 로고를 좀 붙여봤는데 어

마이크로소프트 그레이스 템스 랩이라는 곳에서 어 그 시니어 리서처로 한 7년 7년 정도 R&D 관련된 일을

했었고요 그리고 어 작년에 이제 한 20년 만에 한국에 들어와서 어 열심히 연구 활동을 하고 있고요

그리고 제가 들어와서 이제 저희 랩 이제 로고 제가 만들었는데 어 이름을 지어봤어요 한 6개월 걸려서 이제

열심히 생각을 해서 빅데이터 시스템 AI 그래서 어 크로는 어떻게 해서라고 지었는데 제 의도는 그거였죠

벌데이 생일 비데이 그죠 그래서 저희 학생들한테 물어봤더니 뭐라고 읽을 것 같냐

그랬더니 대부분 한 90% 학생들이 '대'라고 읽더라고요 그래서 제 의도는 실패했다 그렇지만 어 기억엔 남지 않을까요 네 그래서

위로를 삼고 있고요 지난 슬라이드를 만들면서 지난 한 4, 5년 동안에 제 이제 트라젝토리 좀 쭉 봤더니 뭐

비슷한 형태라고 어 R&D 하는 팀에 있었기 때문에 주로 어 페이퍼를 쓰고 어 패턴트 쓰고 그리고 프로덕션도

하고 그래서 저는 또 운 좋게도 어 제가 뭐 연구를 주로 하는 사람이지만 어 이거를 디플로이 할 수 있는 어

회사에 같이 있었기 때문에 여기 마지막에 있는 포인트들 보시면 어 주로 이제 주얼 클라우드에 제가 디플로이 했었고요 어 그래서 어

아카데미 혹은 어 인더스트리에 굉장히 임팩트 있는 일을 했다는 말씀을 좀 드리고 실제로 이제 어 블로그

포스트 좀 찾아봤더니 제가 했던 걸 통해서 클라우드에 디플로이 된 게 크게는 두 개 정도 있더라고요

유저로 따지면 한 몇백만 정도가 쓰는 서비스라 보시면 될 거 같고요 어 도 굉장히 임팩트 있는 일 했구나

어 그리고 어 요거는 이제 작년에 제가 들어와서 한번 찾아봤더니 제가 했던 그 UDF 인라이닝이라는 이제 타이틀 보시면

알겠지만 뭐 어떤 거냐면 대충 뭐 UDF 데이터 시스템에서 쓸 때 어떻게 효율적으로 써야 되느냐 뭐

이런 거예요 그래서 굉장히 좋은 연구를 했는데 뭐 보이실지 모르겠지만 여기 빨간 글자 그죠 밑에 여기면 CMU

제가 그 연구했던 내용을 강의를 하고 있더라고요 그래서 되게 어 뿌듯했던데 그래서 전체적으로 어

학교에 있지만 어 저는 사실 좀 DNA 조금 달라 가지고요 어 연구도 하고 그거 가지고 어 인더스트리의 임팩트를 주는 연구를 주로 어

진행하고 있습니다 그래서 오늘 크게 뭐 두 가지 정도 아까 어 타이틀에서 보여 드렸는데 주로 이제 제가 지난 한 4

5년 정도 했던 연구가 요렇게 정리를 할 수 있을 것 같고요 어 그래서 저희 지금 랩에서 진행하고

있는 어 연구를 좀 정리를 해 봤더니요 두 가지 정도의 퀘스천에 대해서 좀 어 답을 하려고 노력하고

있습니다 첫 번째는 어 그 시스템을 디자인할 때 어 요즘 뭐 ML 워크로드를 빼고 어떤 시스템도 상상할

수 없을 것 같은 느낌이잖아요 그죠 그래서 ML 워크로드를 어떻게 효율적으로 어 전체 라이프 사이클로

봤을 때 아까 말씀하신 뭐 트레이닝 어 인퍼런스 쪽도 마찬가지고 저는 또 데이터를 다루던 사람이기 때문에

데이터 랩이나 퓨처 엔지니어링 뭐 이쪽도 사실은 굉장히 오버다 크기 때문에 이 전체 라이프 사이클을 어떻게

효율적으로 시스템 관점에서 서포트를 하느냐 그리고 두 번째는 어 반대죠 여기 ML4 시스템이라 적혀 있는데

어 그러면 기존에 있는 시스템을 ML 테크닉을 사용해서 어떻게 좀 더 업그레이드를 할 수 있느냐요? 두 가지

어 질문에 대해서 좀 어 최근에 어 답을 하려고 노력하고 있고요 그리고 제가 랩을 만들었기 때문에요 미션을

밑에 적어 봤어요 어 크게 보면 어 이런 거죠 어 시스템이랑 워크로드 사이의 간극 아까 말씀하신 간극 어

줄이고자 어 여러 가지 연구를 진행하고 있고요 여기 왼쪽에 보이는 여기 하드웨어 쪽은 어 사실 어 주로 이제 그 스토리지 쪽 관련

연구를 좀 했었고요 그리고 최근에는 뭐 GPU 뭐 MPU 이쪽 연구를 하고 있고 그리고 어 어 감사드리게도네 그 남인수 팀장님이

계시는 그 팀과 함께 그 네트워크 쪽 관련된 하드웨어도 조만간 아 지금 이미 다루고 있고요 결과가 조만간

나올 예정입니다 그래서 오늘 톡은 아 아 죄송합니다 아 제가 가정사 얘기하면 좀 그렇지만 어 저희 아기가 초원에서

자꾸 바이러스를 들고 와 가지고 아 죄송합니다 네 그 지난 한 4년 정도 제가 했던 연구를 짤막하게

오늘 시간이 길지 않으니까 어 요거를 이제 정리를 해서 오늘 한번 슬라이드 한 다섯 장 정도로 말씀을 드릴 것

같고 크게 보면 밑에 보이시죠 어 in DBMS ML prediction 그리고 hardware acceleration for ML 그러니까 주로 workload 쪽은 어 ML prediction 쪽

이었고요 그리고 어 그거를 위해서 이제 어 데이터 시스템이나 아니면 하드웨어 레이션을 어떻게 효율적으로

해야 되느냐 이런 연구를 진행을 했었습니다 주로 이제 MS 연구 했던 거고요 그래서 아까 말씀하신 것처럼

뭐 요게 우리가 요즘 어 아마 여기 그 ML 다뤄 보신 분들은 요렇게 그렇죠 렇게 다루죠 보면 뭐 데이터

익스트랙션부터 시작해서 트레이닝하고 뭐 기타 등등 ML 프레딕션까지 하는데 사실 사람들이 제일 이제 좀

강조하고 있는 부분 혹은 어 제가 생각할 때는 저희 나라에서 좀 어 미싱 피스라 저는 생각하는데 어 어

실제로 데이터는 이런 데서 들어옵니다 그러니까 이제 개인적으로 뭐 개인적인 데이터야 사이즈가 작으니까 노트북에서

뭐 뚝딱딱 하면 되는데 어 실제로 이제 엔터프라이즈 데이터 같은 경우는 뭐 아까 말씀하신 보안 문제도 있고

그리고 어 용량이 크기 때문에 효율적으로 다뤄야 돼서 그죠 이런 이제 되게 많죠 요즘은 옛날에는

뭐 이 정도는 아니었는데 요즘 또 우후죽순 생기고 있더라고요 그래서 어 주로 이제 미국에 있는 근거지를 두고

있는 회사들 어 어 여기 데이터 시스템들을 통해서 우리가 어 데이터를 뽑아내죠 그래서 이 데이터를 이용해서 데이터 익스트랙션 하거나 뭐

피처 엔지니어링 하거나 그거 이제 나머지 어 라이프 사이클을 쭉 돌죠 그래서 아마 여기 뭐 로고를 쭉 보여

드리면 어 이렇게 하고 계실 거예요 어 그죠 여기 파이토치 텐서플로 당연히 쓰실 거고 그리고 데이터

엔지니어링 할 때는 판다나 뭐 다스크 모딩 이런 거 써서 이제 어 데이터 처리를 하고 그리고 모델 트레이닝

하고 나면 여기 디플로이 해야겠죠 사실은요 부분도 좀 간과되고 있는 야긴 한데 어 모델 만들면 모델

자체도 사실 데이터 거래이고 모델 디플로이 하는 분야도 여기도라고 요즘 이제 주로 사람들이 쓰고 있는 뭐 이런

프레임워크도 있고요 그래서 전적 이런데 문제는 이런 거죠 어 아마다 실 거예요 어 데이터 퓨처 엔지니어 하실 때는

저기 이제 판다나 뭐 다스크 이런 거 써서 뭐 이게 그죠 그 노트북으로 막 하시죠 그리고 나서 데이터 딱

마련되면 csb 같은 걸로 이제 옮겨 가지고 옆에 있는 파이나 텐서플로 뭐 사킬 이런 걸로 이제 트레이닝을 하죠

그리고 디플로이 되면 다시 또 데이터를 받아 가지고 어 이제 굉장히 비효율적으로 각각 스테이지마다 다른

프레임을 써가지고 이렇게 어 다루고 있는데 그래서 저희가 보고 있는 오퍼튜니티 그죠 요거는 렇게 따로

하지 말고 어 좀 효율적으로 해 보자 따로 하면 뭐 아까 말씀하신 대로 데이터를 계속 옮겨야 되는 문제도

있고 특히 이제 엔터프라이즈 같은 경우는 데이터 사이즈도 굉장히 크기 때문에 어 나중에 뭐 넘버 좀 보여

드리겠지만 어 요런 거를 옵티마이즈 하는 것도 굉장히 임팩트가 있습니다 네 그래서 이런 걸 보고 있고요 어 아까

말씀드렸다시피 이제 오늘 어 주 타겟은 저기 모델 프레딕션 쪽 저기 파이프라인을 어떻게 이제 효율적으로

옵티마이즈 해야 되느냐 빅데이터 시스템 입장에서 그래서 그 관련된 내용을 말씀드리도록 하겠습니다 그래서

주로 어 요즘 요렇게 다들 하고 계실 텐데 저희가 부르는 거는 어 애플리케이션 ML 프레딕션이라고

불러요 무슨 말이냐면 어 파이썬 앱을 짜 가지고 거기서 이제 데이터를 받아서 트레이닝을 하시죠 그죠 아

프레딕션 하시거나 그래서 보면 프레딕션 쪽은 모델을 받아서 그리고 또 어 론을 해야 되는 데이터를 뭐

아까 말씀드렸다시피 엔터프라이즈 같은 경우는 데이터베이스 시스템에서 받아서 파이썬 앱으로 어 어 그죠 프레딕션

하죠 뭐 되게 핸디에 이렇게 하면 뭐 간편하기도 하고 근데 이제 문제가 뭐냐면 이런 거죠 아까 말씀하신 어

데이터가 어 데이터 시스템을 떠나야 돼요 이렇게 하면 그렇죠 그리고 모델도 마찬가지로 아까 말씀했다시피

데이터인데 모델도 시스템을 떠나야 돼요 그래서 어 보안 문제가 굉장히 심각하다 그죠 그리고 당연히

퍼포먼스 문제 있겠죠 데이터를 계속 옮겨야 되니까 어 데이터가 만약에 뭐 테라바이트 아니면 그 이상이 되면 어

굉장히 비효율적으로 작동할 것 같잖아요 그죠 그래서 요런 문제를 풀기 위해서 어 요즘 이제 저희 필드

어 빅데이터 시스템 뭐 AI 쪽 이쪽 필드에서는 어 in-DBMS ML prediction이라 부르는데 무슨 말이냐면

저렇게 밖에서 하지 말고 어차피 데이터는 데이터베이스 안에 있고 그죠 그리고 모델도 데이터라고 치면 어

모델도 데이터베이스 안에 넣을 수 있어요 그죠 그러면 다 거기 있는데 굳이 뭐 꺼내서 밖에서 뭐 앱에서

돌려서 이렇게 하느냐 이렇게 하지 말고 그냥 안에서 이렇게 하자 그 안에서 이렇게 어 프레딕션 돌리려면

어떤 명령어 같은 게 필요하겠죠 그죠 그래서 그 명령어를 디자인해 놓은 게 여기 왼쪽 코너에 보이시는 어

프레딕션 API라고 불리는 요거를 이용해서 할 수 있도록 어 이 심지어 마이크로소프트도 마찬가지고 구글

아마존 다 서비스를 제공하고 있어요 그래서 인디 ML 프레딕션 쪽이 어 제가 네트워크 세션에 와서 할

얘기 좀 아닌 거 같지만 이쪽 필드에서는 굉장히 핫한 트렌드다 그래서 방금 말씀드렸던요 두 가지

문제 어 당연히 뭐 쉽게 해결되겠죠 그죠 인하게 안실테니까 예제를 하나 가져봤어요

어떤 거 할까 요거는 뭐 우리나라 요즘 어 제가 예제를 찾다가 어 요즘 의료 대란 그죠 네 문제가 또 있기

때문에 요런 주제가 또 와닿지 않을까 그리고 의료 대란이 아니더라도 미국 같은 경우는 그 의료 시스템 코스트가

굉장히 크기 때문에 요런 유형의 프레딕션 많이 해요 그니까 환자가 들어오면 얼마나 뭐 병원에 머무를 것이냐

아니면 뭐 뭐 저기 임신한 환자는 병원에 또 얼마나 머무를 것이냐 이제 예측을 해야지 어 병원에서 코디네이션

되게 효율적으로 해서 비용을 아낄 수 있으니까 뭐 이런 유형의 이제 예측 많이 하는데 어 실제로 이제 아까

말씀드린 것처럼 DBMS 프레딕션 하면은 어 오른쪽에 있는 요런 형태로 어 여러분들도 실행할 수 있어요 지금도

그 Azure 어시스턴트 equ 클라우드에서 이제 깔아 가지고 해 보시면 할 수 있고요 근데 특이한 게 보이죠 여기 두

가지가 만나 있어요 위에는 데이터 오퍼레이션 관련된 이리들 아마 어 그 데이터베이스 수업을 들으셨으면 좀

키워드가 들어오실 테고 아니면 상관없어요 그니까 위쪽은 데이터 오퍼레이션 관련된 명령어라고 보시면

되고요 아래쪽은 어 여기 보이죠 이 저희가 이제 예제를 오닉스 모델로 가져와서 그런데 어 여기 쿼리

안에 그 ML 모델이 들어가는 거죠 그래서 어 런 형태 리를 만들 수 있는데 어 이제 저희가 연구를 했던

Big Data System for ML And Transformation of Telco Infrastructure | 연세대학교 박광현

2023년, SK의 AI 기술은 어떤 미래를 그리고 있을까요?
최고의 기술 기업과 전문가들이 경험과 노하우를 나누는 자리에 여러분을 초대합니다.


SK AI SUMMIT 2024

소프트웨어 스택 분야에서 7년간 시니어 리서처로 근무

마이크로소프트 그레이스 템스 랩에서 R&D 경험

R&D, 논문 및 특허 작성, 프로덕션 경험

주요 연구 분야: ML 워크로드 효율화 및 기존 시스템 ML 기반 업그레이드

ML 워크로드의 효율적인 전체 라이프사이클 관리

기존 시스템의 ML 기법을 활용한 업그레이드

시스템과 워크로드 간 간극 줄이기 위한 연구

스토리지, GPU, MPU, 네트워크 관련 하드웨어 연구

연구 내용: In-DBMS ML Prediction 및 Hardware Acceleration for ML

데이터 추출부터 ML 예측까지의 전체 과정 효율화

기존의 비효율적인 각 단계별 프레임워크 사용 문제점 지적

효율적인 ML 예측 파이프라인 최적화 연구

In-DBMS ML Prediction을 통한 데이터 및 모델 이동 최소화

하드웨어 가속 및 네트워크 적용

AI 가속 하드웨어 도입 및 비용 증가 추세

데이터 연산의 텐서 기반 GPU/TPU 활용

GPU 가속을 통한 데이터 연산 속도 향상 (42배)

네트워크 시스템에 대한 ML 적용 및 최적화

SKT와의 장기적인 협력을 통한 문제 해결

IoT 시장의 성장과 비즈니스 영향력

빅데이터 시스템과 ML 간 크로스 최적화

기존 네트워크 인프라에 AI 기술 적용

소프트웨어, 하드웨어, 네트워크 분야의 협업 필요성 강조