[음악] [음악] 안녕하세요. SDC 코리아에서 이렇게 다시 만나뵙게 되어 반갑습니다. 작년 이 자리에서 자체

파운데이션 모델인 삼성 가우스 모델을 처음 소개해드렸습니다. 당시 저희는 언어 모델, 코드, 델, 이미지 모델 등을

확보하였고 그 후로도 이 모델들을 계속 업데이트해 왔습니다. 또한 디바이스에 탑재 가능한 온디바이스 소형 모델들도 지속적으로

개발해 왔습니다. 올해 이 자리에서는 최신 학습 기술과 고품질 데이터를 바탕으로 더욱 향상된 성능을 보이는 삼성 가우스 2

모델들을 소개드리고자 합니다. 삼성 가우스 2 모델들은 용도에 맞게 콤팩트, 밸런스드, 슈프림의

세 종으로 나눌 수 있는데, 먼저 콤팩트 모델들은 삼성의 다양한 디바이스에 탑재 가능한 온 디바이스

모델들로 저희는 디바이스별 다양한 유스 케이스에서 최적의 성능을 발휘할 수 있도록 여러 모델들을

확보하였습니다. 밸런스드 모델은 효율성과 안정성을 중시한 모델로 다양한 작업에서 균형 잡힌 성능을

제공합니다. 수프림 모델은 최고의 성능을 목표로 하며 믹스처 오브 엑스트라 기술을 활용해 규모 대비

비 학습 효율성을 높였습니다. 모든 삼성 가우스 2 모델은 다국어 및 여러 프로그래밍 언어를 통합적으로 지원하며 이미지

이해까지 가능한 멀티모달 언어 모델입니다. 여기 보이는 그래프는 왼쪽부터 각각 영어, 한국어, 다국어,

코딩 분야에서의 파운데이션 모델 벤치마크 결과를 보여줍니다. 각 분야별로 파운데이션 모델 평가에 널리 사용되는 여러

아카데믹 벤치마크 점수의 평균을 통해 성능을 비교했습니다. 먼저 삼성 가우스 2

콤팩트는 제한된 컴퓨팅 자원 환경에서도 효율적으로 작동하도록 설계된 소형 모델로 유사한 파라미터

수를 가진 타사 모델과 비교해 전반적으로 더 우수한 성능을 보입니다. 이 모델은 기계에서 구동되는 속도 및 서비스에 따라 특화 지원을

할 수 있도록 온디바이스 활용에 최적화된 설계를 채택하고 있습니다. 삼성 가우스 2 밸런스드 모델은

작년에 발표된 삼성 가우스 1 랭귀지 모델 대비 절반 정도의 파라미터를 가진 모델이지만 고품질 학습 데이터

확보와 향상된 학습 기술 도입으로 더 우수한 성능을 달성하는 데 성공했습니다. 이 모델은 언어와 코드를

모두 다루는 단일 모델로 작년에 개발된 코드 전용 모델보다도 훨씬 뛰어난 코딩 성능을

제공합니다. 대표적인 오픈 웨이트 모델인 B4의 대형 모델과 비교했을 때도 견줄 만한 성능을 보이는데 반해

동시에 처리할 수 있는 추론량에 있어서는 1.5배 이상에 달합니다. 또한 삼성 가우스 2 슈프림 모델의

경우 현재 가장 큰 오픈 웨이트 모델인 B4의 초대형 모델과 비교해 유사한 성능을 보이면서도 동시에

처리할 수 있는 추론량이 세 배 이상에 달합니다. 삼성 가우스 2 모델 학습 과정에서는 다양한 최신 LM 기술들이

도입되었습니다. 몇 가지만 소개해드리면 먼저 삼성 가우스 2 슈프림 모델은 삼성 가우스 2 밸런스드 모델을

기반으로 믹스처 오브 엑스퍼트, 소위 MOE라고 하는 기술을 통해 학습되어, However, 이 기술은 대규모

신경망에서 특정 입력에 가장 적합한 서브 네트워크, 즉 전문가를 동적으로 선택하여 활성화하는 방식입니다. 쉽게 말해 모델이 어떤

질문을 받으면 그 질문에 가장 적합한 전문가들만 선택되어 처리하는 구조입니다. 모든 전문가가 동시에 작동하는 것이 아니라 일부만 활성화되기 때문에

필요한 연산 자원을 절약할 수 있고, 이를 통해 큰 모델도 효율적으로 작동할 수 있습니다. 또한 전문가 모델의 수를

늘림으로써 더 복잡한 문제를 해결할 수 있는 모델로 쉽게 확장할 수 있다는 장점이 있습니다. 이 방식은 학습 및 추론 시

계산량을 대폭 줄여 성능과 효율을 동시에 달성할 수 있게 해주는데요. 다만 이런 모델의 훈련은

일반 모델보다 복잡합니다. 각 전문가가 제대로 훈련되고 서로 간섭하지 않도록 정교한 훈련 과정이

필요한데요. 저희는 이러한 도전적인 과정을 성공적으로 거쳐 삼성 가우스 2 수프림 모델을 학습할 수

있었습니다. 다음으로 커스텀 토크나이저가 있습니다. LM 토크나이저는 텍스트 데이터를 모델이 이해할 수 있는 단위, 즉

토큰으로 변환하는 중요한 역할을 합니다. 저희는 저희 유스케이스에 맞춰 지원해야 할 다국어 사내 개발자들이

쓰는 프로그래밍 언어들의 최적화된 토크나이저를 자체적으로 설계하였습니다. 또한 토크나이저 기준이

되는 보케블러리 크기를 줄이면서도 삼성 가우스 2 모델이 활용되는 여러 도메인에서 토큰 당 표현 가능한

글자수를 크게 개선하였습니다. 이를 통해 주요 오픈 웨이트 모델에서 사용되는 외부 토크나이저에 비해 우수한

효율을 갖춘 토크나이저를 확보하게 되었습니다. 마지막으로 대규모 모델 학습에서의 안정성 문제를 해결하기

위해 다양한 이론적 연구를 수행했습니다. 삼성 가우스 2와 같은 대형 언어 모델을 학습할 때 네트워크

구조의 깊이로 인해 학습 불안정 문제가 존재하는데, 이를 해결하기 위해 네트워크 초기화, 스케일링, 정규화 등 다양한

이론적 접근을 탐구했습니다. 이러한 연구 중 일부는 ICML 같은 주요 학회에서 발표되었으며, 이런 연구를 통해서 삼성

가우스 2 모델의 안정적 학습이 가능했습니다. 삼성 가우스 2 모델 개발을 위해서는 대량의 고품질 데이터

확보와 고성능 GPU 데이터 센터의 구축 및 효율적 운영이 매우 중요했습니다. 이를 위해 저희는 생성형

AI 학습을 위한 데이터를 대규모로 수집하고 저장할 수 있는 페로스 플랫폼을 자체 구축하였습니다. 또한 대규모 GPU

클러스터를 활용해 AI 모델을 더욱 빠르고 편리하게 개발할 수 있는 스페이스 AI 학습 플랫폼을 자체

개발하여 운영 중입니다. 앞으로 더 많은 GPU 데이터를 지속 확보하여 모델 성능을 계속 개선할 계획입니다. 이러한 자체 모델의 장점은

필요한 목적과 응용 분야에 맞춰 최고의 성능을 내도록 커스터마이제이션이 용이하다는 점입니다. 실제로 삼성 가우스 모델은

여러 분야에 활용되고 있습니다. 제품 관련된 온디바이스 유스케이스에 대해서는 이어지는 세션에서 따로

소개해드릴 테고 저는 여기서 주로 생산성 AI 분야의 삼성 가우스 모델이 활용되고 있는 부분에 대해 말씀드리겠습니다. 작년 말 출시된 코드

라는 사내 소프트웨어 개발자를 지원하는 코딩 어시스턴트 서비스로 최근에는 삼성 가우스 2 모델로

업그레이드되어 여러 유스케이스에 대해서 성능을 개선하고 있습니다. 임직원의 업무 생산성 향상

및 프로세스 개선을 위한 서비스인 삼성 가우스 포탈은 기본적인 이메일 작성, 문서 요약, 번역 외에도 모델의

함수 호출 능력을 개선하여 자연어 지시로부터 사내의 API를 호출하는 다양한 유스케이스를 담당하고 있습니다. 삼성 가우스 포탈 역시 멀티 모달이

가능한 삼성 가우스 2 모델로 업그레이드되어 언어 이해 및 추론 능력의 향상은 물론 표, 차트 이해를

통한 질의 응답 및 사용자 요청 이미지 생성 등 멀티모달 기능도 다음 달에 지원할 계획입니다. 또한 저희는 삼성 가우스

모델을 콜센터에 적용하여 상담사를 보조하는 용도로 활용하고 있습니다. 다음에서 조금 더 구체적으로 설명드리겠습니다. 코딩 어시스턴트

서비스인 코드 아에서는 삼성 가우스 2 모델이 개발자들이 자주 사용하는 프로그래밍 환경에 통합되어 있습니다. 자연어로 쉽게 코드를

생성하고 바로 실행하는 것도 가능합니다. 여기서는 파이썬으로 벽돌 깨기 게임인 알카노이드 만드는 예시입니다. 이렇게 생성된 코드는 바로 편집창으로

넘겨서 실행을 시킬 수 있습니다. 또한 코드를 작성 중에 회색으로 표시된 부분과 같이 삼성 가우스 모델이 문맥을 기반으로 적절한

코드를 생성하여 주는데 이 추천이 마음에 드는 경우 바로 반영하여 코드 작성에 드는 수고를 줄여줄 수도 있습니다. 코드 아에 적용된 삼성

가우스 2 모델은 산내 코드와 개발 문서 등 추가적인 데이터를 학습하여 삼성전자의 제품 및 서비스 개발에 대한 활용성을

극대화하였습니다. 앞서 보여드렸던 코드 제한 외에도 대화 인터페이스를 통한 코드 설명, 유닛 테스트 케이스 생성,

버그 수정, 레거시 기반 응답 등 개발자를 위한 여러 유스케이스를 지원하고 있습니다. 코드 AI 서비스는 2023년 12월 서비스 오픈 이후

DX 부분의 모든 사업부 및 해외 연구소에서 제공되고 있습니다. 월별 사용 현황을 보면 초기 배포 시점과 비교해 약 배 이상 증가했고 현재

삼성전자 DX 전체 소프트웨어 개발자의 약 60%가 코드 AI를 활용하고 있습니다. 삼성전자 임직원을 위한 삼성

가우스 포탈은 삼성 가우스 모델을 활용해 문맥에 맞게 사용자와 대화를 하면서 다양한 태스크를 수행합니다. 사내 지식에 대한 질의

응답 및 시스템 호출하는 기능이 탑재된 삼성 가우스 어시스턴트도 개발되어 공개를 앞두고 있습니다. 이를

통해 현업에 맞는 다양한 챗봇 개발이 가능해집니다. 등록 사용자 수도 꾸준히 증가하고

있으며 4월엔 해외 법인으로 확대되었습니다. 삼성 가우스 포탈 외에도 저희는 임직원들이 브라우저에서

바로 삼성 가우스 모델들을 활용하여 문서 요약, 번역, 질의 응답 등을 할 수 있도록 브라우저 익스텐션 형태의

브라우저 어시스턴트를 개발하였습니다. 데모에서 보시는 바와 같이 일본어로 된 페이지를 단순히

번역만 하는 것이 아니라 요약하는 것도 한 번에 할 수가 있습니다. 이메일 내용도 요약할 수 있는데 특히 이메일 내용이 이미지 파일로 되어

있어도 이미지 이해가 가능한 삼성 가우스 2 모델이 그 의미를 이해하여 요약이 가능합니다. 또한 페이지를 보다가 모르는 내용에 대해서는 언제든지 바로

질문도 할 수 있습니다. 이와 같이 브라우저 어시스턴트를 통해 임직원들이 많은 양의 정보를 효율적으로 소화할 수

있도록 하여 생산성 향상에 기여하고 있습니다. 또한 저희는 삼성 가우스 모델을 활용하여 상담사의 업무를

보조하고 있습니다. 채팅, 이메일 그리고 전화 등의 채널을 통해 삼성 제품과 관련된 고객 문의 및 상담이

이루어지고 있는데요. 현재 운영 중인 커스터머 서비스 상담 봇에서는 상담사와 고객의 이런 상담 후에 삼성

가우스 모델이 상담 내용을 양식에 맞춰 자동으로 분류하고 요약해 줍니다. 리모컨으로 예를 들어 뭐 어렵지 않은 건데

잘 되네요 감사합니다 아네 그러세요 해결이 잘 돼서 정말 다행입니다 더 궁금하신 점은 없으십니까 예 없습니다

수고하세요 네 감사합니다 이렇게 상담이 끝난 후 AI 요약을 클릭하면 삼성 가우스 모델이 고객과 상담사 간 무의미한 내용과

상담 내용을 13개의 항목으로 양식에 맞춰 자동으로 분류하고 요약해 주는데요 화면에서 요약 결과를 보실

수 있습니다 이를 통해서 상담사가 직접 요약하는 수고를 덜뿐만 아니라 객관적이고 일관적인 요약을 유지할 수 있습니다

이렇게 정리된 정보는 제품과 고객에 대한 이해를 높여서 저희가 보다 더 나은 서비스를 제공할 수 있도록

활용할 수 있습니다 현재 채팅 이메일 전화 상담 요약을 오픈하여 사용 중이고 연말까지 상담사에게 실시간으로 답변을 추천하는

기능까지 구현 중입니다. 이상으로 삼성 가우스 2 모델들과 이를 활용한 생산성 AI 유스 케이스들을 소개해드렸습니다. 저희는

삼성 가우스 2 모델들을 통해서 생성형 AI 기술을 지속적으로 고도화하고 제품 경쟁력을 강화하며

생산성을 향상시켜 나갈 것입니다. 여러분의 지속적인 관심과 지원에 깊이 감사드립니다. [음악] [음악]

안녕하세요. SDC 24 코리아에 와주셔서 감사합니다. 삼성 리서치 고목 상무입니다. 저는 7년간 단말 기기에서 효율적으로

모델을 설계하고 구동시키기 위한 다양한 기술을 연구 개발해오고 있습니다. 노트에서는 제가 하고 있는 일이기도 하고 최근에 각광받고 있는

온디바이스 AI에 대해서 말씀드리도록 하겠습니다. 이 발표에서는 먼저 온디바이스 AI가 무엇인지에 대해

설명드리고 생성형 모델의 출현과 함께 이 기술이 왜 중요해지는 그 배경을 간단하게 소개하겠습니다. 이후

온디바이스 AI 기술들이 적용될 수 있는 다양한 분야를 살펴보고 마지막으로 여러 하드웨어의 AI

기능을 구현하기 위해 필요한 핵심 기술들에 대해 말씀드리겠습니다. 온디바이스란 무엇일까요?

간단히 말씀드리자면 AI 모델을 활용한 데이터 처리를 클라우드 서버가 아니라 기기 자체에서 수행할 수 있게 하는 기술을 총칭합니다.

흔히 사용되고 있는 클라우드 기반 AI와 비교를 하자면 클라우드 기반 AI는 데이터를 서버로 전송하여 AI 모델을 이용하여 처리하고 그 결과를

다시 기기로 보내 주는 방식으로 동작합니다. 대규모 서버를 통해 강력한 연산 능력을 활용할 수 있어 복잡한 작업을

수용하는 데 유리합니다. 온디바이스 AI는 로컬 디바이스에서 AI를 직접 처리하는 기술로 실시간 분석 및 반응을

가능하게 합니다. 온디바이스 AI는 개인 정보 보호, 안정적이고 실시간이 보장되는 응답성, 클라우드에 의존하지 않아 연결이 제한된 환경에서도

작동하는 등의 여러 장점이 있지만, 여전히 모델의 성능을 향상시키는 것이 주요한 과제입니다. 온디바이스 AI는 사실 새로운 개념이

아닙니다. 제가 이 분야에서 연구 개발을 시작한 지 벌써 7년이 지났습니다. 그만큼 오랜 시간 동안 꾸준히

[SDC24 Korea] Keynote1

The official YouTube Channel of Samsung Developer, your gateway to resources and information for effectively building and publishing content in the Samsung ecosystem. We provide developers and designers with global distribution opportunities, end-to-end support, and easy-to-get resources.

For additional information, visit https://developer.samsung.com

Have questions? Ask us and other like-minded developers in our forums: https://forum.developer.samsung.com/

We do not provide end customer support.
