네 그 제가 사실 오늘 여기 이 행사에 참여하러 오면서 좀 많은 생각이 들더라고요 사실 뒤에도 제가

뭐 제 소개하면서 좀 간단하게 말씀을 드리겠지만 슬라이드 켜놓고 할까요? 어 그 저는 주로 이제 소프트웨어

스택에서 일을 많이 했고요 그리고 남수 장님께서 방금 이제 하드웨어 쪽 어 특히 이쪽 관련해서 어 좋은

말씀해 주셔 가지고 어 요번 어 톡은 약간 좀 소프트웨어 스택 관련된 얘기를 좀 드리고 그리고 이제

마지막에 어 지금 아까도 말씀하셨듯이 어 이제 함께 해야 된다 저도 굉장히 공감하는

메시지고 데이터 시스템 프리 텔코 트랜스포메이션은 어 어느 방향으로 가야 되느냐 어 제 관점이고 얼리 어

아마 팀장님은 좀 더 이제 하드웨어 쪽에서 어 넓은 뷰를 가지고 계실 거라고 생각하고 있습니다 그래서

오늘은요 순서대로 톡을 진행해 보도록 하겠습니다 어 사실 항상 뭐 뭐든 이제 메시지를 드리기 전에 어

메시지가 신뢰가 있어야 되니까 제 자랑을 좀 하고 넘어가도록 하겠습니다 네 어 지난 한 7년 정도

여기 뭐 제가 있었던 이제 어 팀이죠 팀 로고 뭐 플러스 회사 로고를 좀 붙여봤는데 어

마이크로소프트 그레이스 템스 랩이라는 곳에서 어 그 시니어 리서처로 한 7년 7년 정도 R&D 관련된 일을

했었고요 그리고 어 작년에 이제 한 20년 만에 한국에 들어와서 어 열심히 연구 활동을 하고 있고요

그리고 제가 들어와서 이제 저희 랩 이제 로고 제가 만들었는데 어 이름을 지어봤어요 한 6개월 걸려서 이제

열심히 생각을 해서 빅데이터 시스템 AI 그래서 어 크로는 어떻게 해서라고 지었는데 제 의도는 그거였죠

벌데이 생일 비데이 그죠 그래서 저희 학생들한테 물어봤더니 뭐라고 읽을 것 같냐

그랬더니 대부분 한 90% 학생들이 '대'라고 읽더라고요 그래서 제 의도는 실패했다 그렇지만 어 기억엔 남지 않을까요 네 그래서

위로를 삼고 있고요 지난 슬라이드를 만들면서 지난 한 4, 5년 동안에 제 이제 트라젝토리 좀 쭉 봤더니 뭐

비슷한 형태라고 어 R&D 하는 팀에 있었기 때문에 주로 어 페이퍼를 쓰고 어 패턴트 쓰고 그리고 프로덕션도

하고 그래서 저는 또 운 좋게도 어 제가 뭐 연구를 주로 하는 사람이지만 어 이거를 디플로이 할 수 있는 어

회사에 같이 있었기 때문에 여기 마지막에 있는 포인트들 보시면 어 주로 이제 주얼 클라우드에 제가 디플로이 했었고요 어 그래서 어

아카데미 혹은 어 인더스트리에 굉장히 임팩트 있는 일을 했다는 말씀을 좀 드리고 실제로 이제 어 블로그

포스트 좀 찾아봤더니 제가 했던 걸 통해서 클라우드에 디플로이 된 게 크게는 두 개 정도 있더라고요

유저로 따지면 한 몇백만 정도가 쓰는 서비스라 보시면 될 거 같고요 어 도 굉장히 임팩트 있는 일 했구나

어 그리고 어 요거는 이제 작년에 제가 들어와서 한번 찾아봤더니 제가 했던 그 UDF 인라이닝이라는 이제 타이틀 보시면

알겠지만 뭐 어떤 거냐면 대충 뭐 UDF 데이터 시스템에서 쓸 때 어떻게 효율적으로 써야 되느냐 뭐

이런 거예요 그래서 굉장히 좋은 연구를 했는데 뭐 보이실지 모르겠지만 여기 빨간 글자 그죠 밑에 여기면 CMU

제가 그 연구했던 내용을 강의를 하고 있더라고요 그래서 되게 어 뿌듯했던데 그래서 전체적으로 어

학교에 있지만 어 저는 사실 좀 DNA 조금 달라 가지고요 어 연구도 하고 그거 가지고 어 인더스트리의 임팩트를 주는 연구를 주로 어

진행하고 있습니다 그래서 오늘 크게 뭐 두 가지 정도 아까 어 타이틀에서 보여 드렸는데 주로 이제 제가 지난 한 4

5년 정도 했던 연구가 요렇게 정리를 할 수 있을 것 같고요 어 그래서 저희 지금 랩에서 진행하고

있는 어 연구를 좀 정리를 해 봤더니요 두 가지 정도의 퀘스천에 대해서 좀 어 답을 하려고 노력하고

있습니다 첫 번째는 어 그 시스템을 디자인할 때 어 요즘 뭐 ML 워크로드를 빼고 어떤 시스템도 상상할

수 없을 것 같은 느낌이잖아요 그죠 그래서 ML 워크로드를 어떻게 효율적으로 어 전체 라이프 사이클로

봤을 때 아까 말씀하신 뭐 트레이닝 어 인퍼런스 쪽도 마찬가지고 저는 또 데이터를 다루던 사람이기 때문에

데이터 랩이나 퓨처 엔지니어링 뭐 이쪽도 사실은 굉장히 오버다 크기 때문에 이 전체 라이프 사이클을 어떻게

효율적으로 시스템 관점에서 서포트를 하느냐 그리고 두 번째는 어 반대죠 여기 ML4 시스템이라 적혀 있는데

어 그러면 기존에 있는 시스템을 ML 테크닉을 사용해서 어떻게 좀 더 업그레이드를 할 수 있느냐요? 두 가지

어 질문에 대해서 좀 어 최근에 어 답을 하려고 노력하고 있고요 그리고 제가 랩을 만들었기 때문에요 미션을

밑에 적어 봤어요 어 크게 보면 어 이런 거죠 어 시스템이랑 워크로드 사이의 간극 아까 말씀하신 간극 어

줄이고자 어 여러 가지 연구를 진행하고 있고요 여기 왼쪽에 보이는 여기 하드웨어 쪽은 어 사실 어 주로 이제 그 스토리지 쪽 관련

연구를 좀 했었고요 그리고 최근에는 뭐 GPU 뭐 MPU 이쪽 연구를 하고 있고 그리고 어 어 감사드리게도네 그 남인수 팀장님이

계시는 그 팀과 함께 그 네트워크 쪽 관련된 하드웨어도 조만간 아 지금 이미 다루고 있고요 결과가 조만간

나올 예정입니다 그래서 오늘 톡은 아 아 죄송합니다 아 제가 가정사 얘기하면 좀 그렇지만 어 저희 아기가 초원에서

자꾸 바이러스를 들고 와 가지고 아 죄송합니다 네 그 지난 한 4년 정도 제가 했던 연구를 짤막하게

오늘 시간이 길지 않으니까 어 요거를 이제 정리를 해서 오늘 한번 슬라이드 한 다섯 장 정도로 말씀을 드릴 것

같고 크게 보면 밑에 보이시죠 어 in DBMS ML prediction 그리고 hardware acceleration for ML 그러니까 주로 workload 쪽은 어 ML prediction 쪽

이었고요 그리고 어 그거를 위해서 이제 어 데이터 시스템이나 아니면 하드웨어 레이션을 어떻게 효율적으로

해야 되느냐 이런 연구를 진행을 했었습니다 주로 이제 MS 연구 했던 거고요 그래서 아까 말씀하신 것처럼

뭐 요게 우리가 요즘 어 아마 여기 그 ML 다뤄 보신 분들은 요렇게 그렇죠 렇게 다루죠 보면 뭐 데이터

익스트랙션부터 시작해서 트레이닝하고 뭐 기타 등등 ML 프레딕션까지 하는데 사실 사람들이 제일 이제 좀

강조하고 있는 부분 혹은 어 제가 생각할 때는 저희 나라에서 좀 어 미싱 피스라 저는 생각하는데 어 어

실제로 데이터는 이런 데서 들어옵니다 그러니까 이제 개인적으로 뭐 개인적인 데이터야 사이즈가 작으니까 노트북에서

뭐 뚝딱딱 하면 되는데 어 실제로 이제 엔터프라이즈 데이터 같은 경우는 뭐 아까 말씀하신 보안 문제도 있고

그리고 어 용량이 크기 때문에 효율적으로 다뤄야 돼서 그죠 이런 이제 되게 많죠 요즘은 옛날에는

뭐 이 정도는 아니었는데 요즘 또 우후죽순 생기고 있더라고요 그래서 어 주로 이제 미국에 있는 근거지를 두고

있는 회사들 어 어 여기 데이터 시스템들을 통해서 우리가 어 데이터를 뽑아내죠 그래서 이 데이터를 이용해서 데이터 익스트랙션 하거나 뭐

피처 엔지니어링 하거나 그거 이제 나머지 어 라이프 사이클을 쭉 돌죠 그래서 아마 여기 뭐 로고를 쭉 보여

드리면 어 이렇게 하고 계실 거예요 어 그죠 여기 파이토치 텐서플로 당연히 쓰실 거고 그리고 데이터

엔지니어링 할 때는 판다나 뭐 다스크 모딩 이런 거 써서 이제 어 데이터 처리를 하고 그리고 모델 트레이닝

하고 나면 여기 디플로이 해야겠죠 사실은요 부분도 좀 간과되고 있는 야긴 한데 어 모델 만들면 모델

자체도 사실 데이터 거래이고 모델 디플로이 하는 분야도 여기도라고 요즘 이제 주로 사람들이 쓰고 있는 뭐 이런

프레임워크도 있고요 그래서 전적 이런데 문제는 이런 거죠 어 아마다 실 거예요 어 데이터 퓨처 엔지니어 하실 때는

저기 이제 판다나 뭐 다스크 이런 거 써서 뭐 이게 그죠 그 노트북으로 막 하시죠 그리고 나서 데이터 딱

마련되면 csb 같은 걸로 이제 옮겨 가지고 옆에 있는 파이나 텐서플로 뭐 사킬 이런 걸로 이제 트레이닝을 하죠

그리고 디플로이 되면 다시 또 데이터를 받아 가지고 어 이제 굉장히 비효율적으로 각각 스테이지마다 다른

프레임을 써가지고 이렇게 어 다루고 있는데 그래서 저희가 보고 있는 오퍼튜니티 그죠 요거는 렇게 따로

하지 말고 어 좀 효율적으로 해 보자 따로 하면 뭐 아까 말씀하신 대로 데이터를 계속 옮겨야 되는 문제도

있고 특히 이제 엔터프라이즈 같은 경우는 데이터 사이즈도 굉장히 크기 때문에 어 나중에 뭐 넘버 좀 보여

드리겠지만 어 요런 거를 옵티마이즈 하는 것도 굉장히 임팩트가 있습니다 네 그래서 이런 걸 보고 있고요 어 아까

말씀드렸다시피 이제 오늘 어 주 타겟은 저기 모델 프레딕션 쪽 저기 파이프라인을 어떻게 이제 효율적으로

옵티마이즈 해야 되느냐 빅데이터 시스템 입장에서 그래서 그 관련된 내용을 말씀드리도록 하겠습니다 그래서

주로 어 요즘 요렇게 다들 하고 계실 텐데 저희가 부르는 거는 어 애플리케이션 ML 프레딕션이라고

불러요 무슨 말이냐면 어 파이썬 앱을 짜 가지고 거기서 이제 데이터를 받아서 트레이닝을 하시죠 그죠 아

프레딕션 하시거나 그래서 보면 프레딕션 쪽은 모델을 받아서 그리고 또 어 론을 해야 되는 데이터를 뭐

아까 말씀드렸다시피 엔터프라이즈 같은 경우는 데이터베이스 시스템에서 받아서 파이썬 앱으로 어 어 그죠 프레딕션

하죠 뭐 되게 핸디에 이렇게 하면 뭐 간편하기도 하고 근데 이제 문제가 뭐냐면 이런 거죠 아까 말씀하신 어

데이터가 어 데이터 시스템을 떠나야 돼요 이렇게 하면 그렇죠 그리고 모델도 마찬가지로 아까 말씀했다시피

데이터인데 모델도 시스템을 떠나야 돼요 그래서 어 보안 문제가 굉장히 심각하다 그죠 그리고 당연히

퍼포먼스 문제 있겠죠 데이터를 계속 옮겨야 되니까 어 데이터가 만약에 뭐 테라바이트 아니면 그 이상이 되면 어

굉장히 비효율적으로 작동할 것 같잖아요 그죠 그래서 요런 문제를 풀기 위해서 어 요즘 이제 저희 필드

어 빅데이터 시스템 뭐 AI 쪽 이쪽 필드에서는 어 in-DBMS ML prediction이라 부르는데 무슨 말이냐면

저렇게 밖에서 하지 말고 어차피 데이터는 데이터베이스 안에 있고 그죠 그리고 모델도 데이터라고 치면 어

모델도 데이터베이스 안에 넣을 수 있어요 그죠 그러면 다 거기 있는데 굳이 뭐 꺼내서 밖에서 뭐 앱에서

돌려서 이렇게 하느냐 이렇게 하지 말고 그냥 안에서 이렇게 하자 그 안에서 이렇게 어 프레딕션 돌리려면

어떤 명령어 같은 게 필요하겠죠 그죠 그래서 그 명령어를 디자인해 놓은 게 여기 왼쪽 코너에 보이시는 어

프레딕션 API라고 불리는 요거를 이용해서 할 수 있도록 어 이 심지어 마이크로소프트도 마찬가지고 구글

아마존 다 서비스를 제공하고 있어요 그래서 인디 ML 프레딕션 쪽이 어 제가 네트워크 세션에 와서 할

얘기 좀 아닌 거 같지만 이쪽 필드에서는 굉장히 핫한 트렌드다 그래서 방금 말씀드렸던요 두 가지

문제 어 당연히 뭐 쉽게 해결되겠죠 그죠 인하게 안실테니까 예제를 하나 가져봤어요

어떤 거 할까 요거는 뭐 우리나라 요즘 어 제가 예제를 찾다가 어 요즘 의료 대란 그죠 네 문제가 또 있기

때문에 요런 주제가 또 와닿지 않을까 그리고 의료 대란이 아니더라도 미국 같은 경우는 그 의료 시스템 코스트가

굉장히 크기 때문에 요런 유형의 프레딕션 많이 해요 그니까 환자가 들어오면 얼마나 뭐 병원에 머무를 것이냐

아니면 뭐 뭐 저기 임신한 환자는 병원에 또 얼마나 머무를 것이냐 이제 예측을 해야지 어 병원에서 코디네이션

되게 효율적으로 해서 비용을 아낄 수 있으니까 뭐 이런 유형의 이제 예측 많이 하는데 어 실제로 이제 아까

말씀드린 것처럼 DBMS 프레딕션 하면은 어 오른쪽에 있는 요런 형태로 어 여러분들도 실행할 수 있어요 지금도

그 Azure 어시스턴트 equ 클라우드에서 이제 깔아 가지고 해 보시면 할 수 있고요 근데 특이한 게 보이죠 여기 두

가지가 만나 있어요 위에는 데이터 오퍼레이션 관련된 이리들 아마 어 그 데이터베이스 수업을 들으셨으면 좀

키워드가 들어오실 테고 아니면 상관없어요 그니까 위쪽은 데이터 오퍼레이션 관련된 명령어라고 보시면

되고요 아래쪽은 어 여기 보이죠 이 저희가 이제 예제를 오닉스 모델로 가져와서 그런데 어 여기 쿼리

안에 그 ML 모델이 들어가는 거죠 그래서 어 런 형태 리를 만들 수 있는데 어 이제 저희가 연구를 했던

Big Data System for ML And Transformation of Telco Infrastructure | 연세대학교 박광현

2023년, SK의 AI 기술은 어떤 미래를 그리고 있을까요?
최고의 기술 기업과 전문가들이 경험과 노하우를 나누는 자리에 여러분을 초대합니다.
