예 반갑습니다 태입니다 그 눌러야 되는군요 그 뭐 앞에는 이제 다 자기 회사 제품 아 이걸 할게 그냥 예

설명하시고 뭐 워낙 좋은 제품들 잘 설명해 주셨는데 저는 이제 코나는 그 LLM 그 초창기부터 해서 작년 8월

17일에 거의 저 LLM 그 발표회를 거의 처음 국내에 선 회사 중에 하난데요 어 딱히 뭐 LLM 대해서는

뭐 이미 전 더군다나 개발자가 아니기 때문에 저보다 더 많이 하시는 분들이 너무 많을 것 같아서 뭐 딱히 그런

거는 설명드릴 수 없을 것 같고요 제가 8월 말에 그 나이파에서 그 강의를 하나 부탁받았는데 그게 제 AI 산업 본부

사람들이 해 달라고 해서 한 몇십 명한테 가서 산 건데 그때 이제 해 달라는 주제가 이거 있어요 생성 AI

AI 트렌드가 어떻게 되고 발전이 왜 이렇게 되는지 좀 설명해 달라고 그래서 저 마침 이제 그 어쨌든

개발자가 아니고 전략 기획 하고 사업하는 사람이라 어 거에 기반해서 요즘 그 그 사람들이 되게 많이

이야기되고 있는 뭐 LLM이니 아까 말씀하신 온디바이스 이런게 그 비즈니스 관점에서 왜 나왔는지에

대해서 설명을 드리려고 합니다 아 저는 예 코난 테크놀로지 있고요 전략 본부에서 근무합니다 그리고 참고로 SKT 화요일 날 어

SK도 출근하고 있습니다 어 뭐 생성 AI 뭐 이야기 나온 건 다 GPT 때문이니까 다 잘 아시겠지만 그 2022년 11월에

이제 ChatGPT 나온 이후에 어떻게 발전했는지 살펴보면요 ChatGPT 나왔죠 근데 이때 이제 파라미터가 175B

있고요 그니까 150억 개였고 어 CW 거 아래 이제 제 컨텍스트 윈도우라는 놨는데 거기에 4K

4,000 토큰 정도 수용했습니다 그게 이제 GPT-4로 가면 파라미터 사이즈도 훨씬 커지고 이게 여덟 개

아 16개의 전문가 시스템으로 구성이 돼 있고 어 컨텍스트 윈도우도 커지죠 그다음에 이제 GPT-4로 가면은 뭐

일단 컨텍스트 윈도우가 명시적으로 커졌고요 GPT-4.5로 가면 멀티모델 지온도 하고 그다음에 어 GPT-4.0

프리뷰로 하면 훨씬 더 복잡한 단순한 질의 응답이 아니라 뭔가 사고에 계속

전개가 이루어지는 어떤 추론 까지도 지원하죠 물론 근데 기본 틀 자체는 어 변화는 없어요 똑같은 방식인 한데

어쨌든 이렇게 이제 계속 커지고 있습니다 그러면은 결국은 파라미터가 커지면 그 뒤에 장표

나오겠지만 그 상상할 수 없을만큼 그 그 학습용 장비가 많이 들어가기 때문에 돈도 굉장히 많이 들어가고요

파라미터가 크다는 거는 뭔가 하나 질문이든 뭔가 하나 왔을 때 다음에 답을 계산하기 위해서 그 모든 파라미터를 고려해야 되기 때문에

굉장히 많은 계산이 일어나게 되죠 그래서 다 돈이 많이 들어가는 이슈에 그래서 이 양반들도 이제 GPT 오픈

AI 부담이 되니까 그 현실적인 모델들 하는 거죠 그 멀티모달 지원하지만 그중에서도 텍스트 이미지만

지원하는 것도 나오고 그다음에 코딩, 수학, 과학 분야에서 최적화돼 5원 프리뷰 대비 80% 저렴한 버전도

나오고요 그럼 이제 왜 이렇게 쭉 계속 커지는 학습량도 많아지고 파라미터 커지는 걸로 갔는지 생각해

보면 B2C 때문이죠 물론 여기 우리 그 스케터에서도 B2C 하시지만 여기는 뭐 할루시네이션 일종의

엔터테인먼트 생각하시니까 좀 다르긴 하지만 여기는 어 B2C B2C 기본적으로 뭐 수억 명의 사용자를 대상으로 하잖아요 속명의 사용자가 거의

분야를 가리지 않고 각종 질문을 하기 때문에 여기에 적절한 답을 하려면 가장 확실한 방법은 파라미터 크고

학습량이 많은 거죠 그래서 그리고 또 어떤 사람들은 야 나는 만은 만족 못해 그러니까 뭐 동영상도 지원해 줘

그다음에 나는 그냥 뭐 쓰는데 너의 생각을 붙인 추론도 해 줘 이렇기 때문에 계속 커지고 있습니다 그런

결론은 뭐냐면 그냥 돈이 많이 드는 거죠. 이건 뭐 건너뛰고 띄고요. 그니까 얘는 B2C 전 세계 사용자를

대상으로 이 그 생성형 AI 시장을 장악해야 되기 때문에 굉장히 많은 돈, 돈과 많은 학습 시간을 들여서 이렇게

거대한 모델을 하는 거고요. 근데 이제 저는 이제 B2B 입장, 입장에서 생각해 보면 그니까 B2B 공급하는

회사나 B2B에서 그러니까 그 어떤 GPT 사용하고자 하는 입장에서 이제 GPT 살펴봤습니다. 살펴보면 이건 뭐

너무나 명백하지 뭐. 국내에서는 일단 정부기관 같은 데는 보안 이슈 때문에 GPT 사용 못 하게 할 거고요. 뭐

집에서 개인적으로 쓰는 거야 어쩔 수 없지만 그래서 어쨌든 정부 기관, 회사가 사용자 프롬프트에 뭐 여기에

뭐 천부 팔까지 같이 넣어서 보낸다고 하면 어쨌든 자기 회사 영역 밖으로 나가기 때문에 어 이게 추 GPT

학습에 제 활용될 수도 있고 그리고 GPT 합변 나올 수도 있는 거죠 이런 이슈가 있습니다 그래서 온 프레미스 선도적으로 이제 계속 이야기

되고 있는 거고요 그다음에 아까 말씀드린 학습 비용입니다 뭐 지금 뭐 GPT-3 모델 그니까 그 175B 모델일 때 뭐 한 120억

원이라고 그랬는데 1조이 하면은 뭐 4천억이다 GPT-4는 뭐 한 2조에서 5조 때문에 거기에 또 몇

배 수조 일거다 뭐 이런 거거든요 그래서 기본 잘 아시지만 오픈 AI 그 학습용으로 거의 10만 장 단위로

GPU H100 GPU 주문 하잖아요 근데 잘 아시지 모르겠지만 H100 GPU 한 장이 6천만 원 정도예요 국내 가격으로 그럼 보통 여덟 장을

끼우는 걸 기본 세트로 하니까 5억짜리 그냥 러프하게 하면 근데 그 뒤에 뭐 그 고성능으로

연결되는 그 통신망까지 포함하고 뭐 이런 거 저런 거 따지면 거의 통상 그냥 6억 하거든요 리스

프라이스로 물론 이제 대량으로 사면 가격은 당연히 깎이 그니까 이 정도가 있어야 학습이 되는 거고요 그 정도가

있어야 학습을 뭐 한 일주일 만에 아니면은 뭐 한 달 만에 이런 대량의 모델을 하고 자기들도 계속 테스트하면서 바꿔 갈 거니까 그게

가능한 거죠 그리고 추론을 하는 것도 수명을 대상으로 해야 되니까 그럼 뭐 HB 한 5만 장 뭐 이런 단위로

필요하니까 얘도 조죠 그리고 잘 아시는지 모르겠지만 HB 그 아까 여덟 장 들어 있는 거 하나 국내 그

데이터 센터에 맡기면 그 정기 요금 같은 게 다 포함이 돼 있으니까 기본적으로 가격이 한 1년에 5천만 원 정도 지불을 해야 됩니다. 렉 비용으로 굉장히 많이 들고요. 그 그니까 기본적으로 돈이 많이 들어요.

근데 이제 사용하는 사람 입장에서 생각해 보면 어 저는 그 수억 명의 사용자의 모든 질문의 그 이 우리 회사에서 필요하지 않는 거죠. 어떤 우리 회사에서 특정 분야의 어떤 특정 도메인의 특정한 그 업무에 관한 것만 필요하면 되거든요. 그래서 이렇게

굉장히 큰 걸 써야 되느냐 이런 이슈가 나와서 이제 나온 게 그 SLM이에요. 대도 된 요 SLM을 해도 뭐 충분히 잘한다는 성능은 이미 발표가 잘 돼 있고요. 왜 SLM이 잘 되는지도 이제 일단 말씀드리겠습니다. 그다음에 이제 할루시네이션 아까 이제 뭐 엔터테인먼

그죠 뭐 정확한 답 요구하지 않으면 그냥 잘못 답하는 것도 되게 즐거운 일이니까 그거는 관계 없을 것 같아요

그래서 할루시네이션이 뭔지 잘 아시니까 어 이제 가장 일상적으로 일단 생성형 모델이 학습한 이후의

정보나 아예 습득하지 않는 전문적인 정보는 어 자기가 아는 범위 내에서 그 LLM이든 SLM이든 특징은 무조건

확률을 계산해서 답을 하게 돼 있기 때문에 할루시네이션 사실 아무리 잘 만들어도 상존할 수밖에 없습니다 예를

들어서 어 학습 데이터가 2023년 12월까지 무어라고 칠게요 어 저도 정확히 모릅니다 근데 요건 일단

정치색은 없고요 왜냐면 저기 누구나 다 알만한 걸 뽑아보려고 하니까 국민 대표는 바뀌었는데 민주당은

그대로라 제 한 거예요 국민 대표 누구야 하면 채집 무료 버전으로 하면 이거 학습 데이터만 갖고 오기

때문에 여전히 김기헌 대표라고 합니다 근데 이거 8월 말에 쳐본 거라서 지금 모르겠어요 근데 유료 버전으로

가면 그 검색을 하죠 GPT-4 유료 버전은 검색을 해요 그래서 MBC 뉴스나 국민일보라는 데서 국민임 그

홈페이지에서 출처를 찾아서 그 한동훈이 하고 저고 저쩌고 이야기가 나옵니다 이게 제 그 애들이 말하는 게 서치

GPT예요 그러니까 이건 기본적으로 그 어떤 내가 학습한 이외 데이터에서 어떤 장소에서 데이터를 검색해서 그 데이터에 그러니까 검색한 데이터를

기반으로 한테 답변을 요청하는 거죠 서치 GPT 이런 모델이고요 이거는 결국은 뭐 AI하고 컨셉상

똑같습니다 근데 이제 할루시네이션 뭐 국내 인 대표가 누군지 잘못 대답하는 건 너무 간단하게 알 수

있지만 훨씬 전문적인 뭐 테면 뭐 화학식을 물어봤다거나 뭔가 정책을 물어봤나 법률적인 되게 복잡한 요소를

물어보면 어 그거에 대한 정말 전문가가 아닌 이상은 이게 답이가 저기 잘못된 건지 아닌지 알 수가 없기

때문에 굉장히 그 더 문제가 될 수 있겠죠 근데 이제 지금 보면 이 서치 GPT는 보시면 어쨌든 그 여전히

외부 사이트에 공개된 데이터를 검색하는 거잖아요 근데 회사 입장에서 생각해 보면 우리 회사의 데이터는 아까 보안 문제 때문에 외부에 있지도

않고 그다음에 우리 회사가 그동안에 축적한 수많은 그 신뢰성 있는 내부의 데이터가 있기 때문에 대답을 사실은

이거 예를 기준으로 대답을 해 줘야 되는 거죠. 근데 서치 GPT는 그렇게 해 줄 수는 없잖아요. 늦게 공개된 게

아니기 때문에 여전히 그래서 그런 그 한계점은 있고요. 그래서 이제 SLM 비용 문제로 가서 해보면 이건 뭐 발표 모델이 요렇게 많다는 거고요.

보면은 되게 조그만 게 최근에 많이 나왔죠. 아까 말했듯이 그 B2B 시작에 적응하기 위해서 다 이런 그

다양한 그 그 SLM 모델이 나왔고요. 근데 얘가 발표하는 거 보면 꽤 성능이 잘 나오죠. 성능이 꽤 잘 나오고 그다음에

이게 학습하는 그니까 학습하는 비용은 제가 보기에 뭐 파라미터 크기에 따라서 다는데 어떤 경우에는 학습에

들어가는 그 장비나 시간이 1분 아니면 뭐 작은 경우는 1분의 1 정도일 거예요. 뭐 이를 테면 뭐 1비 모델 같은 경우는 백으로 돌리면 뭐

하루나 이틀이면 학습한 닭이 이렇게 이렇게 되기 때문에 그런데도 불구하고 어떤 특정

그 도메인이나 특정 회사나 어떤 특정 업무로 해보면 굉장히 그 퍼포먼스가

잘 나와요 제일 큰 이유는 뭐냐면 일단 파라미터는 작아졌지만 모델 자체가 이제 LM 모델, SLM 모델

자체가 꾸준히 발전하고 있기 때문에 모델 자체가 예전보다 훨씬 정교해졌고 그리고 또 하나는 학습에 사용되는

토큰의 양은 학습 토큰의 양은 굉장히 많이 늘었습니다. 이 뭐 제마 2 같은 경우는 거의 제가 알기로 3조에 뭐 이

정도로 했다는 걸로 알고 있고요. 그다음에 이제 이게 꾸준히 얘들도 뭐 라마 3부터 지금 계속 뭐 3.2 지진

거 같은데 하면서 얘들 또 파인 튜닝을 하잖아요 그니까 인스트럭션 튜닝 데이터셋을 한 번 만드는 게 다

돈인데 이게 꾸준히 쌓여 왔기 때문에 굉장히 많은 인스트럭션 데이터셋을 가지고 있기 때문에 꽤 그 정확한

모델이 작더라도 정확한 답을 해 줄 수 있는 퍼포먼스가 괜찮은 거고요 그다음에 이제 부가적으로 모델이

작으면 아까도 말했지만 학습하는 데 시간이 덜 걸리기 때문에 가장 최신의 정보를 물론 항상 수집할 수만 있다면

그 가장 빨리 자기 모델에 적용할 수 있는 그런 별 돈 들리지 않고 그런 강점이 있습니다 그래서 뭐 여기에 이제 다

나왔지만 제가 저 SKT ES 또 퍼플렉시티 투자도 하셨으니까 퍼플렉시티가 SLM이 주목받는

이유가 뭐니라고 하면 제일 먼저 뽑아 주는 건 역시 비용 효율성이죠. 그래서 대형 언어 모델인 LLM 비해서

훈련하고 운영 비용이 상대적으로 낮다. 훈련이란 건 학습이고 운영이라는 건 아까 추론, 즉 데이터에 들어가는 비용이기

때문에 그래서 예산을 절감할 수 있다는 거고요. 비용이 싸다는 거는 당연히 적은 자원을 요구한다는 거고요.

그리고 그 사이즈가 작기 때문에 훨씬 그 조그만, 그 어떤 MPU 갖고 있는 그 예를 들면 어 스마트폰이나 아니면

조금만 GPU 갖고 있는 그 PC 그래도 돌아갈 확률이 있기 때문에 온 디바이스에도 잘 활용할 수 있게 됩니다. 근데 이제 그 지금까지 그럼

SLM 쓰면 다 잘될 거 같지만 이제 뒤에 RAG 하고 연관시켜 보면 그 SLM 모델 학습된 토큰의 양은 기업

내부에 갖고 있는 토큰의 양에 비해서 압도적으로 큽니다 이제 이거는 뭐 외부에는 그니까 저희는 이제 이게

정확히 알고 있으니까 저희 코난 LM 엔터프라이즈 모델은 47B 모델이 있고 뭐 32B 있고 72B 모델도

있는데요 프로 7B 모델이 있습니다 이렇게 보면 기본적으로 엔터프라이즈 모델은 한 1조 5천억 개 정도

사용되고요 그다음에 어떤 그 이런 그 코난 엔터프라이즈 모델을 도입하는 어떤 회사가 있다고 치면 거기가 테면

10억 개의 토큰을 갖고 있다 치면 비율은 0.067% 밖에 안 되는 거죠 그렇기 때문에 압도적으로 SLM

사용된 사실 토큰이 많기 때문에 그 회사의 내부에 있는 학습 토큰을 추가시키고 뭐 계를 더 중복해서

생성형 AI 트렌드와 발전 방향에 대한 고찰 | 코난테크놀로지 임완택

2023년, SK의 AI 기술은 어떤 미래를 그리고 있을까요?
최고의 기술 기업과 전문가들이 경험과 노하우를 나누는 자리에 여러분을 초대합니다.


SK AI SUMMIT 2024

LLM 및 생성 AI 시장 동향과 비즈니스 관점 분석

LLM 초창기부터 관련 업계 종사자로서의 경험 소개

AI 산업 본부 사람들의 요청으로 생성 AI 트렌드 및 발전 방향 강의 진행

개발자가 아닌 전략 기획 및 사업 담당자의 관점에서 LLM, 온디바이스 AI 등의 비즈니스적 측면 설명 예고

ChatGPT 이후 생성 AI의 발전 과정(파라미터 증가, 컨텍스트 윈도우 확장, 멀티모달 지원 등) 설명

B2C 시장을 위한 LLM의 대규모화 이유 분석(수억 명 사용자 대상, 다양한 질문 처리 필요성)

B2C 시장 장악을 위한 대규모 모델 개발에 따른 높은 비용 지출 언급

B2B 관점에서 본 LLM의 한계점과 SLM의 등장 배경

B2B 환경에서의 GPT 활용 어려움(보안 이슈, 데이터 유출 위험 등) 제시

LLM 학습에 필요한 높은 비용(GPU, 학습 시간 등) 강조

B2B 환경에서의 대규모 모델 사용의 비효율성 문제 제기

SLM(Small Language Model)의 성능 및 효율성 언급

생성형 모델의 할루시네이션 문제와 해결 방안

할루시네이션 현상의 불가피성과 그 원인 설명

ChatGPT 유료/무료 버전 비교를 통한 할루시네이션 예시 제시(국민 대표 이름)

서치 GPT 개념 설명 및 할루시네이션 발생 가능성 언급

서치 GPT의 한계점(외부 데이터 의존, 내부 데이터 활용 불가) 지적

RAG(Retrieval Augmented Generation) 기반 SLM의 활용 및 한계

SLM의 학습 토큰 양과 기업 내부 토큰 양 비교를 통한 RAG 필요성 강조

RAG 기반 시스템 작동 방식 설명(쿼리, 임베딩, 벡터 스토어, 청크 등)

RAG의 한계점 및 추가적인 처리 과정 필요성 언급(민식이법 예시)

다양한 AI 모델 비교 및 온디바이스 AI의 중요성

퍼플렉시티 모델 소개(인터넷 공개 데이터 활용)

온프레미스 AI의 장점(보안 강화)

온디바이스 AI의 정의 및 네트워크 기반 AI와의 비교

온디바이스 AI의 공급자(퀄컴, 인텔, 애플, 삼성전자 등) 입장에서의 이점 분석

온디바이스 AI의 사용자 입장에서의 이점 및 미래 전망

삼성전자 갤럭시 플립 6의 통역 기능을 활용한 온디바이스 AI 적용 사례 소개

코난 테크놀로지의 온디바이스 AI 기술 및 적용 사례

코난 테크놀로지의 온디바이스 AI 기술(STT, TTS, LLM) 소개

삼성전자 갤럭시 S24 울트라 모델에서의 데모 시연 결과 소개

코난 체보 플러스(AI 동시통역 솔루션) 소개