반갑습니다. 베스핀 글로벌의 AI 코시를 맡고 있는 박승호라고 합니다. 어 저는 이 시간에 AI, 그 중에서도 그 LLM 응용한 생성형 AI를 우리

고객사들 여러분들께서 성공적으로 적용하기 위한 몇 가지 전략들과 그리고 여러분들이 인사이트를 가져가실 수 있는 유의미한 사례들에 대해서 몇

가지 좀 말씀을 드려 보고자 하는데요. 어 아침 일찍 오셨습니다. 그런데 여러분들이 오신 이 자리가 좀

가급적이면 많은 정보를 얻어 가실 수 있는 그런 유익한 어 유용한 자리가 되었으면 좋겠습니다. 어 드릴 말씀이 많아서 제

소개는 스킵하고 하겠습니다. 어 생성형 AI에 대해서 어 각계 평가들이 많이 이제 나오고 있는데요. 어 가트너와

같은 경우에는 '환멸의 골짜기로의 하락 직전인 과장된 기대의 정점이다' 어 혹평을 했었고요. 그리고 어 딜로이트

같은 경우에는 많은 리더들은 단기적으로 상당한 혁신적인 변화를 지금도 기대하고 있다라고 얘기를 했는데요 아마도 지금 생성형 AI

LM이 나온 이후로 AI에 대한 포지셔닝은 아마 이 중간쯤이 아닐까라는 생각을 하고 있습니다 어 AI에 대한

여러 가지 이제 석학 분들이 계시는데요 가장 유명한 석학 네 분 중에 이번에 노벨상을 타셨던 제프리

힌튼과 얀 르쿤과 벤지오 그리고 웅 교수가 있습니다 이 분들은 어젠 AI LLM에 대해서 혁명적인 발전이다 그리고 혁명적인 기회다 지능적인

작업의 혁명을 가져올 것이다라고 하는 혁명이라는 키워드로 말씀을 하셨는데요 어 올초에 어 글로벌

컨설팅 기업에서 300대 C 레벨 300대 기업의 C 레벨을 대상으로 설문을 진행을 했었는데 여기서는 LM

통해서 약 80% 효율성은 높아집니다 그러나 매출과 영업 이익은 그대로인 채 어 비용만 줄어드는 즉 사람이

하던 일을 AI 대신 함으로 인해서 비용이 줄어드는 비용 절감의 생산성 효과 즉 이것은 곧 파괴적인 혁신이다

하는 이야기도 했었습니다 이 생성형 AI에 대해서 글로벌 기업에서는 약 1800명 이상 임원들을 대상으로 한 설문 조사에서 어 89%는 생성형 AI에 대해서

향후 도입을 꼭 해야 된다라고 얘기를 했었고요 그리고 68%는 이미 하나 정도의 AI를 도입해서 운용을 하고

있다라고 얘기를 했습니다 그러나 6분의 1 16%에 해당이 되는 임원들만이 지금 우리가 목표했었던 AI 현재

정상 궤도에 올라갔고 두 개 이상의 AI 서비스를 그리고 현장에서 제품에 적용을 하고 있다라고 얘기를 했는데요 이 원인에 대해서 98%는

데이터 사이언티스트든지 엔지니어에 대한 조직적인 기반이 아직도 미비하고 있고 그리고 AI AI 모델을 만들어

내기 위해서는 여러 가지 이제 그 데이터에 대한 파이프라인이라는 거버넌스에 대한 기반 기술들이 부족하다라고 하는 답변을 해

주셨습니다. 국내 상황은 약 어 국내 한 모 경제 일간지에서 진행을 했었던 어떤 설문 조사를 통해서 93% AI

반드시 경영에 활용을 하겠다라고 말씀하셨는데요. 여전히 58%이 AI 경영에 대한 여러 가지 활용에 대한

압박을 받고 있고 그럼에도 불구하고 향후 AI에 대한 투자 의중은 98% 가량이 투자를 하겠다라고 말씀을

하셨는데 그 얘기는 뭐냐하면 우리 기업들이 과거 제조업의 경우에는 어느 정도 뒤쳐지더라도 어 어느 정도

캐치업 할 자신감이 있었는데 AI의 빠른 속도감을 너무나 두려워서 이 속도감 때문에 조금이라도 늦춰지면

100년 격차가 이루어진다는 얘기 때문에 심리적인 압박감을 많이 느낀다라고 하셨습니다. 어 여러 가지 지표에서도 말해 주고

있고 생성형 AI 그러면 어떻게 적용을 해야 되는지에 대한 고민들을 많이 하시는데요. 저희 베스핀 글로벌

내부의 컨 컨설팅 펌을 통해서 몇 가지 어 지표들을 뽑아 보았는데요. 그중에서 어 여섯 가지 지표에 대해서

말씀을 드려 볼 수 있을 것 같아요. 어 첫 번째로는 어 AI 도입을 성공적으로 진행을 하기 위해서 그에 대한 초기의 우리가 얼마만큼의 투자

해야 되는지 그리고 우리가 이것을 통해서 AI 대한 자원과 인프라를 어떤 TCO 대한 효율로 가져가 요율로 가져가야 될 것인지 그리고

얼마만큼의 수익 대비 투자를 가져올 수 있는지, 즉 수익 대비 ROI를 가져올 수 있을 것인지에 대한 고민들을 하셔야 합니다.

그래서 어 매킨지 조사에 따르면 어 글로벌 기업 중에서 AI를 통해서 성과를 많이 내는 기업의 경우에는 디지털 예산이 한 20% 가량을

예산에 이제 할애를 한다라고 하고요 이후 좀 뒤쳐지거나 이제 스타트를 진행을 하시는 기업, 기업 같은

경우에는 약 5% 정도 투자를 하신다고 합니다. 어 국내 기업과 같은 경우에는 어 삼성 SDS 조사에 따르면 약 한 월에 1천만 원 정도

연에 한 1억 언저리에 어 투자를 진행을 한다라고 하셨고요 고부가가치 회사의 경우에는 AI

를 통해서 새로운 상품을 만들어 내거나 기업의 가치를 높이는 데 활용하는 반면에 후자의 경우 이제 막 시작하는 경우에는 주로 이제 비용 절감에 많이

집중을 하고 있는 편입니다. 어, 두 번째로는 시스템과 인프라 구축에 대해서도 많이 고민을 하셔야 됩니다.

GPU 같은 경우에도 과거에 이제 테슬라 군이 있었고 최근에 이제 T4나 A100, H100이 나왔고요. 이제 H200이 나온다라고 합니다.

인프라에 대한 자원들도 너무나 빠르게 급변하고 있기 때문에 그에 대해서 신속하고 효율적으로 대응하기 위해서는

클라우드 기반의 데이터 관리 시스템을 어, 어, 여러 가지 이제 자원들을 효율적으로 할 수 있는 방안에 대해서 고민을 해 보셔야

됩니다. 그리고 어, AI 모델을 만들어 내기 위해서는 데이터가 매우 중요합니다. 이 어떤 중요한, 좋은 훌륭한 모델을

만들어 내기 위해서도 쌀알과 같은 어떤 데이터 하나의 데이터부터 시작을 하는데요. 가비지 인 가비지 아웃이라고 합니다. 그래서 양질의 데이터를 어

파이프라인을 통해서 이관과 정제 그리고 데이터 플랫폼을 통해서 이것을 모델로 학습시킬 수 있을 만한 양질의

데이터들을 분류해내는 것이 매우 중요하다고 생각하고 있고요 네 번째로는 AI 모델을 만들어내는 것은 짧게는 수개월 길게는

수년에 다다르는 지난한 과정들을 거쳐야 됩니다 그 과정들 가운데 수많은 데이터들을 바꿔야 되고요 그다음에 가중치 값을 조정을 해야

되고 모델들을 바꿔서 다시 한번 트레이닝을 시켜야 되는 이와 같은 과정들을 거쳐야 되는데 이 과정들을

계속 진행을 하기 위해서는 별도의 ML 옵스 툴들이 필요하고 Agile 접근법을 통해서 지속적으로 반복적인

어 과정들을 거쳐야 됩니다 다섯 번째로는 어 인력 교육과 조직 변환에 대한 사항들도 매우 중요합니다 이제는 어 AI 우리의

어떤 파괴자라는 경쟁자의 범위가 아니라 이제는 우리 동반자로서 우리 업무에 실제적으로 적용을 해야 되는

그런 상황입니다 이제 우리는 인구 절벽의 시대에 다 달았습니다 우리가 AI를 얼마나 효율적이고 우리 업무에

최대한 잘 적용하고 녹아 드느냐에 따라서 우리 기업의 흑망 성세가 어 달려 있다라고 말씀드려도 과언은 아닐

것 같고요 어 마지막 여섯 번째가 이거 간과하기 쉬운데 매우 중요합니다 아까 전에 제가 이제 글로벌 기업의

현황을 말씀드렸는데 68%가 AI 하나 이상 도입하셨습니다 현재 그 중에 16%가 AI 두 개 이상 AI 서클을

돌리시고 그리고 AI 두 개 이상 상품이 적용이 되어졌다 하는 것은 이 여섯 번째가 미비 되었기

때문에 그런 결과를 가져왔습니다. 그래서 AI가 과연 우리 기업에 얼마만큼의 효과를 가져오는지 그에 대한 가치 평가가 명확하게 있어야 되고, 그에

대한 모니터링과 성과 측정이 되어야지만이 AI를 성공적으로 적용하고 우리 기업이 사용할 수 있는 선순환 과정을 이뤄낼

수 있다라고 보시면 될 것 같습니다. 이 AI에 대해서 어 2022년 11월에 GPT 3.5가 나오면서 그때의 수준과 지금은 많이 달라졌어요.

우리 고객사에 방문을 해보면 지식들도 많이 늘어나셨습니다. 여러 가지 이제 환경에 대해서도 잘 아십니다. 그럼에도

불구하고 고객사에 방문하면 저에게 꼭 이런 걸 물어보세요. 자, AI 좋은 것도 알겠고 쓰고는 싶어. 그런데 AI

우리 기업에 어떻게 적용을 해야 됩니까? 그리고 이 AI 어떤 기술, 무엇을 우리 기업에 적용을 하는 것이

가장 효율적일까요? 그리고 우리 기업의 어느 프로세스에 어디에 이걸 적용을 했었을 때 우리가 성공할 수

있을까요? 라는 질문들 많이 하시는데요. 그에 대해서 그 질문들을 저 저희가 하도 많이 듣다 보니까 그

질문들의 유형을 이제 많이 듣는 순으로 해서 저희가 몇 가지를 나눠 봤어요. 한번 들어 보시고 우리

기업들은 과연 여기에 어떤 궁금한 점이 있으신지 한번 들어 보시면 될 거 같아요. 제일 많이 듣는 부분들

중에 하나가 이겁니다. 우리는 데이터 사이언티스트 조직도 있고 엔지니어도 있어. 그리고 대부분 파이썬, R 같은

것을 통해서 모델을 만들고 있는데 이제는 보다 더 선순환을 이루고 싶어. 그리고 데이터를 아 모델을 잘 잘

만들고 현장에서 즉시 적용하고 트레이닝 시키고 싶어 이런 얘기들을 많이 하십니다. 두 번째로는 우리 기업은

정말 많은 데이터들을 예전에는 데이터가 쌀이라 그래서 데이터를 많이 모았어요. 그런데 이 데이터들을 너무나 많이 모았는데 이 데이터가 너무나

많아져서 이제 데이터를 어떤 데이터가 옥인지 돌인지 잘 구분은 못 하겠어요. 이 데이터를 잘 구분해서 잘 활용할 수

있는 방법을 좀 알려 줘라고 하는 얘기들 주로 제 큰 대기업에서 좀 많이들 얘기를 하시죠. 세 번째로는

데이터에 대한 자산을 활용을 하고 싶은데 우리가 내부에 KMS 있고 그다음에 외부의 지식도 요즘 뭐 퍼플렉시티 같은 양질의 데이터들도

우리가 수집을 할 수 있는데 이거를 우리만의 특화된 데이터로 자산화하고 싶어 이런 얘기를 많이 하십니다. 네 번째로는 어 이것들도 참

많아요 우리가 기업에 어떤 비즈니스를 하고 있는 프로세스들은 몇 년 길게는 10년이 넘는 기간 동안 프로세스가

만들어져 있어요 이 프로세스가 만들어져 있기 때문에 그 그것에 대한 인프라도 있고 그다음에 솔루션도 있고

소프트웨어도 있고 정말 중요한 것은 이 프로세스의 사람들이 배치가 되어 있다라는 거예요 과연 이것을 우리가

그러면 어떻게 활용을 해야 될 것인지에 대한 질문들도 많으십니다 다섯 번째는 우리 기업은 여러 가지

이제 콘텐츠들을 제공을 하는데 이 콘텐츠들을 등급별로 내부 외부로 아니면 교육 같은 경우에 학년별로

나눠서 제공을 해 주고 싶어 이거를 그러면 어떻게 해서 차별화 차별화된 데이터들을 컨텐츠를 개인화된 콘텐츠를

제공을 할 수 있을까에 대한 부분들도 많이 물어보십니다 어 마지막으로는 뭐 이런 얘기들 하세요 자 우리 그럼

할루시네이션 없앨 수 있도록 RH 쓸게요 그런데 RAG, 우리 기업은 대부분 우리가 우리가 기업이 가지고

있는 문서들은 대부분 이미지도 있고 그래프도 있고 차트도 있어 그런데 당신들이 얘기하는 건 텍스트만 임베딩

시킨다면 이것에 대한 개선점은 없을까요라는 얘기들도 많이 물어보십니다 그래서 그에 대한 저희가

몇 가지 이제 방안들을 함께 고민하고 그에 대한 솔루션들을 찾아본 결과들을 사례를 들어 보시면 좀 이해하시기

편하실 것 같네요 사례를 말씀드려 보도록 하겠습니다 먼저 첫 번째로 기업의 생산성 효율성을 위해서 기업이

가지고 있는 여러 가지 인력 그리고 조직을 활용해서 모델들을 지속적으로 훈련시키고 만들어낼 수 있는 환경을 만들고 싶다라는 요구

사항에 대해서 고객이 현재 고유한 비즈니스 도메인에 대해서 분류를 해 드리고요 그리고 고객이 현재 맞닥뜨리고 있는 여러

가지 옵스 환경을 개선할 수 있는 옵스 환경을 개선을 드리고 있습니다 어 베스핀 글로벌에서는 어 고객이

비즈니스 도메인이 제조이다 아니면 조달이 조달이 서플라이 체인이지만 그 고객이 가지고 있는 기업 데이터와 그 그에 대한 여러

가지 솔루션 방안들을 여러 가지 모델들을 사용을 하게 되겠죠 뭐 비전 모델이나 이상 탐지 모델이나 뭐 분류

분석 모델이나요 같은 모델을 사용을 해서 현재 고객에게 가장 적합한 기업 솔루션들을 제공을 해 드립니다 모델을

제작을 해서요 그리고 이 모델들이 현장에서 고객에게 가장 적합한 그에 대한 해결을 해줄 수 있는 문제 해결의 방안을 제시를

해 주고 현장에서 문제 해결이 되면 그 문제 해결과 동시에 그것들은 또 데이터를 또 발생을 시키게 되겠죠

그것은 서버 역할을 할 수 있는 코어 역할을 하고 있는 AI 컨덕터를 데이터를 보내서 다시 재학습을 시키는 뭐와 같은 선순환 과정을 이룰 수

있는 환경을 만들어 드렸습니다 그래서 국내 제조 기업 엘사에 적용한 사례인데요 엘사와 같은 경우에는 제 여러 이제 생산

공정입니다 생산 라인에서 디펙 여부를 판정을 할 때 이 디펙 여부를 과거에는 사람의 관리자의 품질 관리자의 육감에

의지해서 디펙 여부를 판정을 진행을 했었어요 그랬는데 이 AI 모델을 적용한 다음부터는 1초 내에 디펙

여부가 판정이 됐었고요 이것을 통해서 지속적으로 이제 현장에서 다양한 모델들을 생산할 수 있는 환경들을

만들어 줬고 현장에서 발생한 팩에 대한 데이터들은 다시 AI 컨덕터를 보내서 그에 대한 선순환 과정들을 이룰 수 있었다 그래서 어 현재는 뭐

제품에 대한 공정 시에 외관의 검사라는 공정을 수행할 때 여러 가지 이제 수행 시 오류 그러니까 이제 여러

가지 부품이 잘못 체결이 됐거나 토크에 대한 컨버팅이 잘못됐거나 아니면 부품이 잘못 그 배치가 되었거나 그런

LLM을 응용한 생성형 AI 전략과 사례 | 베스핀글로벌 박승호

2023년, SK의 AI 기술은 어떤 미래를 그리고 있을까요?
최고의 기술 기업과 전문가들이 경험과 노하우를 나누는 자리에 여러분을 초대합니다.


SK AI SUMMIT 2024

발표자 소개 및 생성형 AI에 대한 전략 및 사례 소개 목표 언급

가트너의 부정적 평가와 딜로이트의 긍정적 평가 소개

AI 석학들의 혁명적 발전 및 기회에 대한 긍정적 전망 언급

글로벌 기업 설문조사 결과: 효율성 증대에도 불구하고 매출 및 영업이익 변화 없음

글로벌 기업의 생성형 AI 도입 현황 및 어려움(데이터 사이언티스트 및 엔지니어 부족) 소개

국내 기업의 AI 활용 현황과 심리적 압박감 언급

AI 도입 성공을 위한 초기 투자, TCO 및 ROI 고려 중요성 강조

시스템 및 인프라 구축의 중요성과 클라우드 기반 시스템 활용 제안

양질의 데이터 확보 및 파이프라인 구축의 중요성 강조

AI 모델 개발 과정의 어려움과 ML Ops 툴 및 Agile 접근법 필요성 언급

인력 교육 및 조직 변환의 중요성 강조

AI 성과 측정 및 모니터링을 통한 선순환 과정 구축의 중요성 강조

데이터 사이언티스트 및 엔지니어 조직 보유 기업의 선순환 구축 어려움

대량 데이터 보유 기업의 데이터 활용 방안 모색

내외부 데이터 자산 활용 및 특화된 데이터 자산화 방안

장기간 구축된 기업 프로세스 활용 방안

차별화된 콘텐츠 제공 및 개인화된 콘텐츠 제공 방안

할루시네이션 제거 및 다양한 데이터 유형(이미지, 그래프 등) 활용 방안

기업 생산성 및 효율성 향상을 위한 모델 지속적 훈련 환경 구축 사례(제조 기업)

대량 데이터 활용을 위한 클라우드 기반 데이터 플랫폼 및 예측 시스템 구축 사례(건설 중장비 기업)

데이터 자산 활용 및 자산화를 위한 SLM, 파인튜닝, 다이나믹 RAG 기술 적용 사례

다년간 고착화된 프로세스 개선을 위한 AI 적용 사례(자동차 제조 물류회사)

차별화된 콘텐츠 제공을 위한 에이전트 생성 및 프롬프트 엔지니어링 지원 사례(교육청)

멀티모달 지원을 위한 아키텍처 개선 및 이미지, 텍스트 통합 임베딩 사례

베스핀 글로벌의 AI 비즈니스 여정 지원 및 가트너 매직 쿼드런트 8년 연속 등재 언급

베스핀 글로벌의 AI 기반 기업 구조 대변혁 및 AI 활용 사례 소개

베스핀 글로벌의 데이터/AI 솔루션 및 파트너십 소개

베스핀 글로벌 AI 플랫폼(데이터 플랫폼 및 AI 플랫폼) 소개

마무리 및 베스핀 글로벌의 AI 컨설팅 제안