네 안녕하십니까 저는 업스테이지에서 LM 사업 개발을 총괄하고 있는 업스테이지 김자현 팀장이라고 합니다

입니다. 네 오늘 저는 H4 월을 위한 엔터프라이즈 기업의 생성형 AI 도입 전략이라는 좀 더 브로드한 형태의

주제들을 잡아봤습니다. 어 아마도 AI 서밋에서 AI 어떻게 활용하고 실제 기술들이 어떻게 구성되고 있는지에

대한 많은 관심들이 있을 거라고 예상이 되는데요 저는 이 AI 구축과 활용이라는 유닛 자체가 실제 시장의

사례들이 어떻게 구성되고 있는지에 대한 것들을 주로 보여주는 세션인만큼 네 실제로 좀 전반적으로 엔터프라이즈 기업에서는 어떤 형태로

AI를 도입하고 있는지 또 특히 LM 관점에서 주로 좀 말씀을 드려 보려고 합니다. 네 간단하게 소개를 드리면 저는

지금 업스테이지에서 말씀드린 것처럼 L&M 사업 개발을 총괄하고 있고요 이전에는 카카오와 카카오

엔터프라이즈에서 AICC AI 컨택 센터 팀에서 사업 개발을 리딩을 했었습니다. 공교롭게도 제가 첫 번째

커리어를 시작한 곳은 SK 브로드밴드이고요. SK 브로드밴드에서 미디어 전략과 관련된 일들을 담당했었는데 그

당시에 미디어 전략 쪽에서도 AI 화두였습니다. 잘 아시겠지만 뭐 셋톱 박스를 통해서 음성인식 기반의

서비스들을 제공한다거나 혹은 뭐 넷플릭스 같은 곳에서 이제 추천 형태의 AI 엔진들을 도입하는 것들이

굉장히 화두였던 시대였기 때문에 그 당시부터 이제 AI 관련된 일들을 10년 정도 계속 진행을 하고

있다고 봐주시면 될 것 같습니다 네 업스테이지 소개를 조금 드리면서 시작을 하겠습니다 아마도 저희 회사에 대해서 잘 알고 계신

분들도 있겠지만 아마 잘 모르시는 분들도 계실 것 같아서 네 짧게 저희 회사에 대한 소개를 좀 드리면서

시작을 하도록 하겠습니다 업스테이지는 2020년에 창업해서 이제 4년이 조금 넘어가고 있는 AI 스타트업입니다 어 현재 한국과 미국의

법인을 두고 있고요 처음에 이제 업스테이지가 그 시장에 나왔을 때 그 CEO 이제 선킴 김성훈 대표님께서

그 라인에서 이제 네이버 AI 조직의 헤드를 하시다가 나오셔서 이제 이렇게 창업을 하게 되시면서 당시에는 AI

어벤져스다 이런 이야기들을 굉장히 많이 들었었습니다 그래서 그때부터 엔터프라이즈 타겟의 B2B AI

솔루션 영역에서 계속 플레이를 해오고 있었고 최근에 이제 나오고 있는 솔루션들이 실제로 시장에서 굉장히

의미 있는 형태의 성과들을 거두고 있는 회사라고 생각을 해 주시면 될 것 같고요 전체 임직원 수는 120명이 좀 넘는 구조고 전체 인력

중에서 80명 이상이 AI 소프트웨어 엔지니어들로 이루어진 조직이라고 보시면 될 것 같습니다 스테이지가 처음에 사업을

했을 때부터 지금까지 이제 하나하나 계속 솔루션들을 내놓으면서 시장에서 플레이를 하고 있는데요 처음에는 이제

컨설팅을 기반으로 해서 실제 시장에 어떤 AI 관련되어 있는 니즈들이 있는지에 대한 것들을 굉장히 많이

보는 시간들을 가졌고요 그 이후에 나왔던 첫 번째 솔루션이 이제 광학문자 인식이라고 하는 OCR 솔루션이었습니다 그 OCR 솔루션을

기반으로 해서 플레이들을 계속하고 검색과 추천과 관련되어 있는 솔루션들을 만들었었고 작년 12월에 이제 LM

관련되어 있는 파운데이션 모델을 처음으로 이제 솔라라는 이름의 모델을 내놓게 되면서 생성형 AI 쪽 시장에 본격적으로 뛰어들고 1년 동안 굉장히

많은 성과들을 가져가고 있습니다. 최근에 저희가 시리즈 B 펀딩을 받았는데요. 시리즈 B 펀딩 규모가

1억 정도 됐었고 누적 투자 금액 기준으로는 13억이 조금 넘는 형태의 규모를 가져가고 있고요. 아마도 국내

스타트업 신에서 생성형 AI 쪽에 투자가 된 규모로는 가장 크게 투자를 받은 곳들 중에 하나일 거라고

생각하고 있습니다. 전체적인 이야기를 좀 드리기 전에 생성형 AI 쪽에 대한 전반적인 트렌드를 좀 한번 짚어 드리고 가려고

합니다 뭐 아마도 이해도를 돕는 관점에서 지금 현재 현황이 어떻게 체크 PT 이후에 지금까지 넘어오고

있는지에 대한 것들을 이야기할 필요성이 조금 있을 것 같고요 잘 아시다시피 LLM 혹은 생성형 AI 관련되어 있는 부분들을 촉발한 이제

서비스는 ChatGPT 서비스였습니다 실제 ChatGPT가 나오고 나서 이제 LLM 대한 것들을 이제 시청에서 많이

관심을 가지기 시작했고 LLM이 급격하게 관심을 가진 이유에 저는 두 가지 정도가 있다라고 생각합니다 첫

번째는 이제 이전까지는 NLP 기반으로 했던 자연어처리 엔진들이 어떤 테스크를 수행하려면 하나의

엔진이 하나의 테스크를 수행하는 형태의 구조들이 대부분이었어요 예를 들어서 뭐 요약과 관련되어 있는 테스크를 하나 수행해야 된다라고 하면

요약 엔진이 하나 있었어야 됐고 또 뭐 체포 같은 걸 만든다라고 하면 이제 인텐트 기반에 엔티티 기반의

NLP 엔진들이 하나가 들어갔어야 됐고 또 번역 같은 경우 여러분 잘 알고 계시겠지만 뭐 파파고 혹은 카카오

번역 뭐 SK 냈던 번역 서비스 같은 형태에 이제 번역 쪽에 대한 영역들이 하나씩 있어야 됐었는데 이제 챗GPT

나오면서 사람들이 하나의 모델이 멀티 태스크에 대해서 대응하는 것들을 경험하기 시작한 겁니다 이게 이제

모델 관점에서의 하나의 큰 진화라고 말씀드릴 수가 있겠고요 두 번째로는 이전까지는 룰 베이스를 기반으로

굉장히 이제 휴먼 라이크 하지 않던 모델 영역들이 생산형 AI 넘어오면서 굉장히 휴먼 라이크 하게

움직이기 시작했습니다. 기본적으로 LM 자체가 확률 기반의 모델이기 때문에 뭐 그때그때 똑같은 답변을 뱉어

주는 게 아니라 답변의 다양성들을 가져가기 시작했고 이른바 이제 우리가 할루시네이션이라고 이야기를 하지만

할루시네이션이 이제 어떤 관점에서는 LM 모델의 창발이 그러면 이제 창발의 관점에서 실제 뭐 룰 베이스에

갇혀 있는 형태의 답변들이 아니라 창의적인 형태의 답변을 하는 여까지 LM 나가기 시작했다는 지점들이 첫

번째 변화일 것 같습니다. 그럼에도 불구하고 대부분의 생성형 AI 시장은 대규모 자본을 가진 이제 빅테크에 의해서 주도되고

있습니다. 아마 체지 PT 사용 가격이 계속 떨어지고 있는 것들은 잘 알고 계실 거예요. 그리고 최근에 보면 그

처음에 GPT 3.5 터보, 이제 체지 PT, 아고 처음에 우리가 불렀던 모델이 나왔던 것보다 가장 최근에

나온 GPT-4, 오니 미니라는 형태의 모델의 사용료가 더 낮습니다. 그러니까 모델은 진보를 했는데 모델을 사용하는

비용 자체는 줄어든 거죠. 그니까 그 이야기는 사실 실제 이제 사람들이 편안하게 쓸 수 있는 형태의

가격대까지 이 가격들이 내려오고 있다라는 이야기가 되는데 그럼에도 불구하고 오픈 AI 엄청난 형태의

적자를 내고 있다는 건 알고 계실 겁니다. 그럼 결국 의미하는 것들은 엄청난 형태의 투자가 현재 생산형

AI 시대에 쏟아 부어지고 있다라는 이야기들이죠. 그래서 오른쪽을 보면 실제 비용이 감소했음에도 불구하고

대부분의 투자들이 아주 소수의 빅테크 기업들에 몰리는 것을 볼 수가 있습니다 그리고 미국 같은 경우는

실제로 그 모델을 굽기 위한 이제 파운데이션 모델 같은 것들을 만드는 이제 모델 엔지니어들을 오픈 AI

쪽에서 이제 다 흡수해 가는 거죠 그렇기 때문에 작은 오픈 소스의 모델들을 만드는데 실제 인력적인

이슈가 생기거나 할 정도로 실제 시장은 빅테크 중심의 모델로 가고 있습니다 그럼에도 불구하고 그런 빅테크가 만드는 폐쇄형 모델들이

지배력을 가지냐 하면 최근에는 오픈 소스 기반의 모델들이 굉장히 많이 올라오고 있습니다 이걸 견인한 건 잘

아시다시피 메타의 라마 모델이었고 특히 라마 3 모델이 나온 이후부터는 실제 오픈 소스 모델이 어 폐쇄형

형태의 모델들의 성능을 따라가는 구조들이 보이고 있습니다 굉장히 이제 폐쇄형 모델과 오픈 소스 모델의

격차가 줄어드는 구조가 나오고 있는 거죠 이런 내용들을 기반으로 실제 뭐 국내를 포함해서 해외까지 LM 먼저

접하고 있는 기업들은 그 큰 모델들이 가지고 있는 서비스의 비효율 혹은 비용의 비효율 관점들을 확인을 하고

SLM이라고 불리는 스몰 랭귀지 모델이라고 불리는 SLM 중심의 효율적인 모델 도입을 진행하고 있는

경우들을 많이 보고 있습니다 저희가 바로요 포지션에서 플레이를 하고 있는 시장 업체라고 보시면 될 거 같고요

실제로 이제 빅테크 모델들이 가지고 있는 다양한 장점들과 단점들이 있습니다 모델이 크면 클수록 성능이

좋아진다는 것들은 사실 뭐 모델 관점에서 어느 정도 스탠다드라고 볼 수 있는데 모델이 커지는 만큼 그만큼

비용이 증가하는 이슈들이 기본적으로 하나가 있고요 또 이런 큰 모델들을 트레이닝 하거나 혹은 파인 튜닝

하는 데 비용들이 또 크게 들어간다는 이슈들이 있습니다 그러면 실제 기업 관점에서는 작은 형태의 모델들을

효율성 있게 구축을 해서 그 모델을 파인튜닝 하거나 혹은 뒤에서 말씀드리겠지만 API 같은 형태의

파이프라인을 구축을 해서 실제로 사용할 수 있는 그런 유스케이스를 만드는 것에 집중을 하고 있는 것이죠

또 거기에는 가장 크게 이제 보안과 관련되어 있는 이슈들이 있을 겁니다 대부분 PT가 나왔을 때 국내 모델

국내 이제 기업들은 이 모델이 이제 보완적으로 이슈가 있을 수 있으니 클라우드 기반의 모델은 쓰지 마라라는

것들이 굉장히 많이 이슈가 됐었고 실제로 이제 그런 비효율 때문에 대부분 국내 엔터프라이즈 시장은

온프레미스 중심의 시장으로 운영되고 있다라고 저희는 생각하고 있습니다 사실 상반기까지만 해도 저희를 아는

곳들이 시장에서 그렇게 많지 않았는데요 하반기에 이런 플레이들을 계속해서 이야기를 하면서 흔히 이제

SLM이라고 하는 하나의 섹터를 만들어 내기 시작했고 거기서 여러 모델에 대한 성능들을 검증하면서 저희가 시장에서 네 인지도를 가져가고

있다라고 보시면 될 것 같습니다 그 앞에서 말씀드린 것 같이 SLM 역시도 가지고 있는 장점들과 단점들이 있습니다 대부분의 단점들은 모델의

성능과 관련되어 있는 이슈들 그리고 이 모델이 실제 이제 뭐 GPT-4, 옴니 같은 엄청나게 성능이 좋은 모델들에

비해서 이제 효과성을 가져갈 수 있느냐에 대한 여부인데 시장에서는 이 두 가지 지점이 지점들을 두 가지의

해결 포인트로 잡아가고 있습니다. 첫 번째는 이제 파인 튜닝이라고 불리는 미세 조정의 영역들이고요. 물론 이제

프리 트레이닝까지 포함하는 구조가 되겠고요. 두 번째는 이제 레거시 쪽에 대한 파이프라인을 레버리징 하는

방식들이 있습니다. 요 두 가지에 대해서 뒤에서 조금 더 상세하게 말씀드려 보도록 하겠습니다. 엔터프라이즈 비즈니스

영역에서 AGI, 4W AGI, 4워. 이제 앞단에서 조금 더 설명을 드리면 저희 회사가 가져가고 있는 하나의

미션이기도 하거든요 이제 저희가 가고 있는 방향성은 모델을 무한하게 성능을 늘려서 좋은 형태의 효과성을 가져가는

것만은 아닙니다 사실 저희도 뭐 투자를 받아 가지고 운용하고 있는 회사고 어느 정도 규모를 가져가는

한계 같은 것들이 있기 때문에 기본적으로 특정 섹터에 집중하는 것들이 중요하다고 보고 있고 저희가

집중하고 있는 섹터는 엔터프라이즈 관점의 이제 워크 관점입니다 실제 일을 하는 플로우 워크플로우 자체를

어떻게 AI 가지고 개선할 것인가 그리고 그 워크플로우 내에서 사용할 수 있는 솔루션들은 생산형 AI 어떤

것들이 있을 것인가에 집중한다고 봐주시면 될 것 같습니다 생산형 AI 확산 정도에 따라서 단계를 나눠보면 크게 네 가지

정도가 있을 걸로 보입니다. 처음에는 그냥 이제 소프트웨어의 AI 이제 증강시켜서 사용하는 구조가 있겠고요.

두 번째는 AI 특정 솔루션에 테스크를 이제 센트릭하게 AI 활용하는 구조가 있을 거고, 세 번째는 워크플로우에 AI 인그레이 되는

구조가 있을 거고, 마지막 종국에는 AI 중심으로 한 워크플로가 생길 거라고 저희는 보고 있습니다. 현재 기준에서 저희는

1단계에서 2단계 정도 준이 시장의 단계라고 생각을 하고 있고요. 요 단계에서의 문제를 풀기 위한

솔루션으로 LLM 솔루션과 다큐먼트 AI, 아고 하는 OCR 기반의 데이터 전처리 솔루션을 가지고 있다라고 생각해 주시면 될 것 같습니다. 아마

실제로 내부에서 솔루션을 사용하시는 관점에서도 뭐 지금 뭐 슬랙 혹은 MS 같은 코파일럿 기능들을 보면

대부분 기존에 있는 소프트웨어를 AI 기반으로 어떻게 효율화할 건지의 영역에 좀 더 집중이 되고 있는

관점이 있고요 요게 조금 더 나아가게 된다 하면 본질적으로 생성형 AI를 활용하는 방식으로 워크플로우가

변화하는 부분들까지 가게 될 겁니다 다만 아직 시장이 올해는 그 부분까지 오지는 않았다라고 보고 있고 저희가

타게팅 하는 시장 자체는 이제 종국의 이제 엔드까지 스테이지 4까지 가게 되는 AI 네이티브를 보고 있다

AGI for Work를 위한 엔터프라이즈 기업의 생성형AI 도입전략 | 업스테이지 김자현

2023년, SK의 AI 기술은 어떤 미래를 그리고 있을까요?
최고의 기술 기업과 전문가들이 경험과 노하우를 나누는 자리에 여러분을 초대합니다.


SK AI SUMMIT 2024

발표자 소개: 업스테이지 김자현 팀장 (LM 사업 개발 총괄)

세션 주제: 엔터프라이즈 기업의 생성형 AI 도입 전략

발표자의 업스테이지 및 이전 경력 소개 (카카오, 카카오엔터프라이즈, SK브로드밴드)

업스테이지 회사 소개: 2020년 창업, 한국 및 미국 법인 운영, 엔터프라이즈 B2B AI 솔루션 제공

업스테이지의 생성형 AI 시장 진출 및 성과 (솔라 모델 출시, 시리즈 B 펀딩)

ChatGPT의 등장으로 촉발된 LLM에 대한 관심 증가

LLM에 대한 관심 증가 이유: 멀티태스크 가능 및 휴먼라이크한 답변 제공

빅테크 기업 중심의 시장 구조 및 높은 투자 규모

오픈소스 모델의 부상 (메타의 라마 모델)과 폐쇄형 모델과의 성능 격차 감소

기업들의 SLM(Small Language Model) 도입 증가 추세

엔터프라이즈 시장의 특징과 업스테이지의 전략

보안 이슈로 인한 온프레미스 중심의 시장 구조

업스테이지의 SLM 시장 진출 및 인지도 향상

SLM의 장단점: 성능과 효과성 문제

SLM의 해결 방안: 파인튜닝 및 레거시 파이프라인 레버리징

업스테이지의 미션: 엔터프라이즈 워크플로우 개선에 집중

생성형 AI에 대한 과도한 기대와 현실의 차이 (식기세척기 비유)

생성형 AI 도입의 어려움: 데이터 이슈

주요 문제점: 데이터 정제의 어려움

보틀넥 1: 데이터 전처리 (레코그니션, 익스트랙션)

업스테이지의 해결 방안 및 솔루션

LLM 활용 파이프라인 구성: 데이터 전처리, RAG(Retrieval Augmented Generation) 활용

엔터프라이즈 기업의 생성형 AI 도입 시 중요한 세 가지 허들: 데이터, 운영 효율성, 성능

업스테이지의 OCR 솔루션을 통한 데이터 전처리 지원

다큐먼트 파서 모델: 문서 구조 인식 및 LM 학습 효율 향상 (최대 60% 향상)

솔라 모델: GPT-4 수준의 성능을 가진 소규모 모델 (싱글 GPU 구동 가능)

프리디 베이스를 활용한 파인튜닝 성능 검증: 솔라 모델의 우수한 성능 확인

다양한 유스 케이스 및 향후 계획

다양한 유스케이스 적용 사례 (리걸, 언론, 금융)

솔라 프로, 솔라 미니, 닥 비전 등 다양한 모델 개발 및 제공

기업 내부 데이터 활용을 위한 전체 유스케이스 라인 지원 (데이터 콜렉션부터 레포트 제너레이션까지)

팩트 체커, 업데이트 체커, 인사이트 추천 등 다양한 모듈 제공

주요 유스케이스 성공 사례 소개 (로앤컴퍼니, 조선일보, 신한투자증권)