Optimizing Software and Hardware for Machine Learning Systems

이 연사는 빅데이터 시스템에서 영향력 있는 연구를 위해 ML 워크플로우와 하드웨어 통합을 최적화하는 방법을 강조합니다.

### ML 워크로드 및 시스템 설계의 소프트웨어 스택 혁신
* 💻 오늘 저는 소프트웨어 스택에 대한 인사이트, 특히 앞서 소개한 하드웨어 논의와 관련된 인사이트를 공유하기 위해 준비하면서 **제 경험을 되돌아보았습니다.**
* 🔍 지난 7년간 마이크로소프트 리서치에서 선임 연구원으로 근무하며 **R&D에 집중**해왔고, 최근 한국으로 돌아와 연구 활동을 이어가고 있습니다.
* 📊 '빅데이터 시스템 AI'라는 연구실 이름을 짓는 데 **6개월이 걸렸는데**, 제 원래 의도를 학생들이 잘못 해석했지만 기억에 남습니다.
* 📈 제 연구는 **클라우드에 배포된 여러 서비스가 수십만 명의 사용자에게 도달**하는 등 업계에 큰 영향을 미쳤으며, 실제 애플리케이션에서 연구의 중요성을 보여주었습니다.
* ⚙ 현재 저는 수명 주기 전반에 걸쳐 ML 워크로드를 효율적으로 지원하는 방법과 **ML 기술을 사용하여 기존 시스템을 업그레이드하는 방법**이라는 두 가지 주요 질문에 대해 연구하고 있습니다.
* 🔗 제 연구실에서는 시스템과 워크로드 간의 격차를 해소하는 데 중점을 두고 **스토리지, GPU, 네트워크 하드웨어에 대한 연구**를 진행하고 있으며 곧 결과가 나올 예정입니다.
* 📉 저는 빅데이터 시스템 내에서 ML 예측 파이프라인을 최적화하여 **엔터프라이즈 환경에서 중요한 데이터 이동과 보안 문제로 인한 비효율성**을 해결하는 것을 목표로 합니다.
* 🌐 데이터베이스 시스템 자체 내에서 모델이 작동하여 데이터 처리의 복잡성을 줄이면서 성능과 보안을 강화할 수 있는 **'인-DBMS ML 예측' 트렌드**가 부상하고 있습니다.

### 머신 러닝 통합을 통한 의료 및 네트워크 시스템 최적화
* 🏥 이 토론은 특히 미국에서 의료 시스템과 관련된 상당한 비용을 강조하며, **비용 효율성을 위한 환자 입원 및 병원 조정에 관한 예측**을 증가시킵니다.
* 🔍 DBMS 예측을 구현하면 운영 효율성을 향상시킬 수 있으며 **Azure와 같은 도구는 이러한 예측을 효과적으로 촉진**할 수 있습니다.
* 📊 데이터 작업과 머신 러닝(ML) 모델을 통합하면 **연산과 데이터 전송을 모두 최적화**하여 **I/O 및 계산 부하를 크게 줄일 수 있습니다.**
* 🚀 실험 결과에 따르면 **ML과 데이터 작업 간의 교차 기능 최적화**를 통해 **최대 330배까지 속도가 향상**될 수 있는 것으로 나타났습니다.
* 💻 특히 GPU에 대한 하드웨어 투자는 **2025년까지 200조 원**을 넘어설 것으로 예상되며, 이는 효율적인 연산 능력에 대한 시장의 성장세를 반영합니다.
* 📈 네트워크 시스템에 AI를 통합하는 것은 점점 더 중요해지고 있으며, 특히 **통신의 성능 향상을 위해 GPU 리소스를 사용하는 데 중점**을 두고 있습니다.
* 🤝 비즈니스 영향력을 극대화하기 위해서는 **소프트웨어, 네트워크, 하드웨어 영역 간의 협업**이 필수적이며, 이러한 영역을 효과적으로 연결하기 위한 **지속적인 연구 이니셔티브**가 진행 중입니다.
* 📩 관심 있는 분들은 연구팀과 연결하여 **이 확장되고 있는 분야에서 잠재적인 협업**을 모색해 보세요.

Big Data System for ML And Transformation of Telco Infrastructure | 연세대학교 박광현

2023년, SK의 AI 기술은 어떤 미래를 그리고 있을까요?
최고의 기술 기업과 전문가들이 경험과 노하우를 나누는 자리에 여러분을 초대합니다.


SK TECH SUMMIT

소프트웨어 스택 분야에서 7년간 시니어 리서처로 근무

마이크로소프트 그레이스 템스 랩에서 R&D 경험

R&D, 논문 및 특허 작성, 프로덕션 경험

주요 연구 분야: ML 워크로드 효율화 및 기존 시스템 ML 기반 업그레이드

ML 워크로드의 효율적인 전체 라이프사이클 관리

기존 시스템의 ML 기법을 활용한 업그레이드

시스템과 워크로드 간 간극 줄이기 위한 연구

스토리지, GPU, MPU, 네트워크 관련 하드웨어 연구

연구 내용: In-DBMS ML Prediction 및 Hardware Acceleration for ML

데이터 추출부터 ML 예측까지의 전체 과정 효율화

기존의 비효율적인 각 단계별 프레임워크 사용 문제점 지적

효율적인 ML 예측 파이프라인 최적화 연구

In-DBMS ML Prediction을 통한 데이터 및 모델 이동 최소화

하드웨어 가속 및 네트워크 적용

AI 가속 하드웨어 도입 및 비용 증가 추세

데이터 연산의 텐서 기반 GPU/TPU 활용

GPU 가속을 통한 데이터 연산 속도 향상 (42배)

네트워크 시스템에 대한 ML 적용 및 최적화

SKT와의 장기적인 협력을 통한 문제 해결

IoT 시장의 성장과 비즈니스 영향력

빅데이터 시스템과 ML 간 크로스 최적화

기존 네트워크 인프라에 AI 기술 적용

소프트웨어, 하드웨어, 네트워크 분야의 협업 필요성 강조