The Rise of SLM: Cost-Effective AI Solutions for Businesses

코나 테크놀로지는 기업을 위한 비용 효율적인 온디바이스 AI 솔루션의 중요성이 점점 더 커지고 있다고 강조합니다.

### AI의 진화와 비즈니스에 미치는 영향: LLM과 SLM
* 🤖 "저는 LLM의 초기부터 관여해왔고, **지난 8월 17일에는 국내 최초로 이 주제에 대해 발표하는 자리**를 가졌습니다."
* 📊 이 프레젠테이션에서는 특히 **2022년 11월에 1,750억 개의 매개변수와 4,000개의 토큰으로 구성된 컨텍스트 창**을 갖춘 ChatGPT가 출시된 이후 생성 AI가 빠르게 발전하고 있음을 강조했습니다.
* 💡 모델이 **GPT-4 이상**으로 발전함에 따라 매개변수 크기가 크게 증가하여 광범위한 계산 리소스가 필요하고 이러한 모델을 학습하는 데 **높은 운영 비용**이 발생했습니다.
* 💰 모델 학습 비용은 수억 원에서 수십억 원에 달하며, **GPT-4 모델의 경우 2~5조 원이 소요될 것**으로 추정되는 등 대규모 AI 시스템 개발에 따른 재정적 부담을 강조하고 있습니다.
* 🏢 B2B 관점에서 기업은 이러한 모델을 사용할 때 외부 AI 시스템과 상호 작용할 때 **민감한 데이터가 위험에 노출**될 수 있으므로 **보안 문제**와 같은 문제에 직면합니다.
* 🔍 SLM(소규모 언어 모델)을 도입하면 **LLM과 관련된 광범위한 오버헤드 없이 특정 비즈니스 요구 사항에 맞는 비용 효율적인 솔루션**을 제공함으로써 이러한 문제를 해결할 수 있습니다.
* 📈 SLM은 **모델 아키텍처의 발전과 방대한 명령어 데이터 세트의 가용성**으로 인해 인상적인 성능을 입증하여 특수 애플리케이션에 적합합니다.
* 🌍 전반적으로 SLM으로의 전환은 특히 B2B 부문에서 **성능과 비용의 균형을 맞추는 효율적인 AI 솔루션에 대한 수요**가 증가하고 있음을 반영합니다.

### 효율적인 AI 트레이닝 및 운영: SLM과 RAG의 역할
* 💡 교육 및 운영 비용이 상대적으로 낮기 때문에 **AI 프로젝트에서 예산을 절감**할 수 있습니다.
* 📉 비용이 저렴하다는 것은 리소스 요구 사항이 줄어든다는 것을 의미하며, **최소한의 GPU를 탑재한 스마트폰이나 PC와 같은 소형 디바이스**에서도 AI 기술을 효과적으로 활용할 수 있습니다.
* 🔍 그러나 SLM 모델에 사용되는 토큰의 양이 **기업 내에서 사용 가능한 토큰의 양을 훨씬 초과**하기 때문에 내부 데이터 통합의 신뢰성에 대한 우려가 제기되고 있습니다.
* 📊 예를 들어, 한 기업이 **10억 개의 토큰**을 보유하고 있다고 해도 기업 모델에서는 **약 1조 5천억 개의 토큰**을 활용할 수 있으며, 그 결과 데이터의 **0.067%만 기업 자체에서 생성**됩니다.
* 📚 이러한 불일치는 모델 재교육 없이 신뢰할 수 있는 외부 지식 기반을 참조하여 결과물을 최적화하는 **RAG(검색 증강 생성)**의 필요성을 강조합니다.
* 🧩 RAG를 사용하면 **특정 도메인 지식을 효율적으로 통합**하여 비용 효율성을 유지하면서 정확성과 유용성을 높일 수 있습니다.
* 🌐 AI 기술이 발전함에 따라 스마트폰과 같은 디바이스에서 직접 데이터를 처리하여 서버 부하를 완화하고 운영 비용을 절감하는 **온디바이스 AI 솔루션**이 필수적인 요소가 되고 있습니다.
* 📱 삼성과 같은 기업들은 이미 이러한 기술을 구현하여 **온디바이스 AI를 통한 실시간 번역, 사용자 경험 및 애플리케이션 다양성 향상**과 같은 기능을 선보이고 있습니다.

생성형 AI 트렌드와 발전 방향에 대한 고찰 | 코난테크놀로지 임완택

2023년, SK의 AI 기술은 어떤 미래를 그리고 있을까요?
최고의 기술 기업과 전문가들이 경험과 노하우를 나누는 자리에 여러분을 초대합니다.


SK TECH SUMMIT

LLM 및 생성 AI 시장 동향과 비즈니스 관점 분석

LLM 초창기부터 관련 업계 종사자로서의 경험 소개

AI 산업 본부 사람들의 요청으로 생성 AI 트렌드 및 발전 방향 강의 진행

개발자가 아닌 전략 기획 및 사업 담당자의 관점에서 LLM, 온디바이스 AI 등의 비즈니스적 측면 설명 예고

ChatGPT 이후 생성 AI의 발전 과정(파라미터 증가, 컨텍스트 윈도우 확장, 멀티모달 지원 등) 설명

B2C 시장을 위한 LLM의 대규모화 이유 분석(수억 명 사용자 대상, 다양한 질문 처리 필요성)

B2C 시장 장악을 위한 대규모 모델 개발에 따른 높은 비용 지출 언급

B2B 관점에서 본 LLM의 한계점과 SLM의 등장 배경

B2B 환경에서의 GPT 활용 어려움(보안 이슈, 데이터 유출 위험 등) 제시

LLM 학습에 필요한 높은 비용(GPU, 학습 시간 등) 강조

B2B 환경에서의 대규모 모델 사용의 비효율성 문제 제기

SLM(Small Language Model)의 성능 및 효율성 언급

생성형 모델의 할루시네이션 문제와 해결 방안

할루시네이션 현상의 불가피성과 그 원인 설명

ChatGPT 유료/무료 버전 비교를 통한 할루시네이션 예시 제시(국민 대표 이름)

서치 GPT 개념 설명 및 할루시네이션 발생 가능성 언급

서치 GPT의 한계점(외부 데이터 의존, 내부 데이터 활용 불가) 지적

RAG(Retrieval Augmented Generation) 기반 SLM의 활용 및 한계

SLM의 학습 토큰 양과 기업 내부 토큰 양 비교를 통한 RAG 필요성 강조

RAG 기반 시스템 작동 방식 설명(쿼리, 임베딩, 벡터 스토어, 청크 등)

RAG의 한계점 및 추가적인 처리 과정 필요성 언급(민식이법 예시)

다양한 AI 모델 비교 및 온디바이스 AI의 중요성

퍼플렉시티 모델 소개(인터넷 공개 데이터 활용)

온프레미스 AI의 장점(보안 강화)

온디바이스 AI의 정의 및 네트워크 기반 AI와의 비교

온디바이스 AI의 공급자(퀄컴, 인텔, 애플, 삼성전자 등) 입장에서의 이점 분석

온디바이스 AI의 사용자 입장에서의 이점 및 미래 전망

삼성전자 갤럭시 플립 6의 통역 기능을 활용한 온디바이스 AI 적용 사례 소개

코난 테크놀로지의 온디바이스 AI 기술 및 적용 사례

코난 테크놀로지의 온디바이스 AI 기술(STT, TTS, LLM) 소개

삼성전자 갤럭시 S24 울트라 모델에서의 데모 시연 결과 소개

코난 체보 플러스(AI 동시통역 솔루션) 소개