네 반갑습니다. 저는 AWS에서 일하고 있는 윤석찬이라고 합니다. 어 마지막 시간인데요. 어 제가 오늘 말씀드릴

주제는 이제 기업 내부 데이터를 이용한 생성 AI 기반 서비스 구축하기라는 주제로 말씀드리려고 합니다. 그 지금 뭐 생성형 AI 너

너무 이렇게 많이 부모이 돼 있어 가지고 어느 정도는 아시겠지만 제가 발표를 하기 전에 먼저 약간 그 이

기술에 대해서 약간 뭐 어 리마인드를 하고 난 다음에 제가 말씀드릴 주제로 이렇게 넘어가도록 하겠습니다. 어 사실

이제 생성 AI가 주목받게 된 거는 이제 과거로부터 데이터가 많이 쌓인 이 빅 데이터, 데이터가 많이 쌓인 거가 또

히 중요하고 또 한 가지는 이제 우리가 컴퓨팅 파워가 굉장히 많이 좋아졌다는 거예요. 특히 이제

클라우드가 우리가 원하는 이제 컴퓨팅을 이렇게 언제든지 쓸 수 있게끔 해주는 파워가 좋아졌고 그리고

한 뭐 10년 전에 저희가 뭐 파고라 하는 걸 통해서 알게 된 딥러닝이라는 기술 기존에 어 기계 학습 기술에서

잘 사용하지 않았던 그런 것들이 좀 더 좋은 성능을 내면서 어 우리가 이제 생성의 기본 기초가 됐다고

생각할 수가 있겠습니다 이제 과거에 우리가 일반적인 기계 학습이라고 하는 것은 이 뭐 숫자나 문자 같은 이런

이제 단순한 그 데이터를 인풋을 해서 어 그거에 대해서 이제 추론을 한 다음에 원하는 이제 단순한 결과들을 냈죠 뭐 통계적인 뭐 측면에서 그런

결과를 했다고 하면은 이 딥러닝이 이제 가져온 좀 큰 변화는 데이터가 좀 복잡해졌다는 거예요 그래서 뭐 개나

고양이 같은 그런 이미지 데이터라는 아니면 자율주행 학습에서 우리가 얻는 비디오 데이터라는 이런 데이터에서 어떤 객체를 인식하고 하는 이런 단순한

아웃풋을 내는 것이 이제 딥 러닝이라고 생각할 수 있습니다. 근데 이 우리가 지금 현재 얘기하는 생성형이라고 하는

것은 데이터 인풋이 굉장히 복잡한데 결과의 어떤 작업도 굉장히 다양하다는 거예요. 그래서 어떤 모델을 가지고

원래는 예전에는 하나의 어떤 작업만 할 수 있었는데 지금은 뭐 글을 쓴다든가 그림을 그린다던가 뭐 런

굉장히 복잡한 작업들까지 다 아웃풋을 낼 수 있는 그런 것이 이제 기존의 딥러닝 모델들하고 좀 차이라고 볼

수 있겠죠. 그래서 가고는 어떤 기계 학습 모델을 우리가 어떤 작업에 대해서 원하는 작업이 있으면 그

작업에 대해서 각각의 모델들을 다 학습을 했었거든요. 그러니까 뭐 아까 이제 말씀드린 옵스 같은 게 필요하고

모델들을 계속 만들어내야 되는 그 그런 이제 어 문제가 있었다고 하면은 지금이 파운데이션 모델 그 생성 AI가

쓰는 파운데이션 모델은 엄청나게 큰 거대 모델 하나를 딱 학습을 하고 나면은 걔가 모든 걸 다 한다는

거예요. 어느 정도 이게 이제 어 많은 어 차이점이 되겠습니다. 그래서 우리가 뭐 지금 챗GPT 할 수 있는

것들이 너무 많잖아요. 그러니까 어 그런 부분에서 좀 기존의 모델하고 많이 차이가 있고 그래서 우리가

이제 이 모델을 어떻게 사용하느냐 특히 회사에서 이런 것을 사용하려면 우선은 어 이제 일반적인 목적으로 그

트레이닝된 미리 트레이닝된 이런 그 파운데이션 모델을 일단 갖고 거기에 우리가 필요한 특정 도메인의 데이터를

넣어서 어 그 데이터들을 처리할 수 있는 파인 튜닝이라는 작업을 통해 가지고 아 우리가 이제 원하는 그 결과들을 이제 얻어낼 수 있고 특정

도메인에 맞는 작업들을 이제 할 수가 있게 되는 것입니다 그래서 일반적으로 이제 우리가 파운데이션 모델 그니까

생성형 AI가 쓰는 파운데이션 모델에서 할 수 있는 것들은 뭐 글쓰기 뭐 디자인 이런 거 이제 뭐 우리가 이제

일반적으로 챗봇이 할 수 있는 건데 그 이상으로 이제 뭐 비즈니스 작업이라는 회사에서 하는 어떤 업무

플로우를 구성한다든지 나아가서 회사에 어떤 중요한 의사 결정을 한다든지 이런 작업을 할 때도 필요한 것은 이 파운데이션 모델에서 들어가는

어떤 그 데이터들을 통해서 우리가 할 수 있는 어 그 되겠죠 그러면 이 우리가 이런 생성형 AI 통해서 회사에서 어떤 작업을

하려면 크게 한 네 가지 정도의 어이 그 것이 필요해요 첫 번째는 먼저 AI 지식 없어도 누구나 쓸 수

있어야 된다는 거죠 그리고 아주 비용이 저렴하게 파운데이션 모델이라는 게 엄청 크고 뭐 이제 뭐

아주 제 빅테크 이라든지 국내에서도 엄청난 큰 기업들이나 투자해서 만들 수 있는 거이기 때문에 어 일단

저렴한 비용으로 사용할 수 있어야 됩니다 사실 그 ChatGPT가 그런 어떤 그 뭐랄까요 이렇게 그거의 어떤

변화를 일으키는 아주 그러니까 AI 지식 없이도 누구나 쓸 수 있는데 비용은 저렴해요 예 근데 작업할 수

있는 양은 엄청나게 많아요 그런 어떤 AI 만들어 줬다고 볼 수 있죠 근데 그 일반인들이 쓰기에는 크게 문제가

없지만 이걸 회사에서 사려고 하려면 두 가지가 더 필요한데 한 가지는 뭐냐면 이 파운데이션 모델이 있어야

됩니다 우리가 튜닝을 해야 될 파운데이션 모델을 갖고 있어야 되고 또 이거를 회사의 데이터를 집어 넣더라도 이걸 안전하게 쓸 수 있느냐

이런 어떤 문제점들이 이제 해결이 돼야 되죠 네 그래서 이 두 가지가 더 필요한데 어 지금 그 뭐 제가 이제

회사에 저희 이제 회사에서 사용하는 퍼블릭 클라우드 서비스 중에 이제 어 그 생성 AI 서비스 하나를 이제 아마존 베드락이라는 서비스를 소개해

드리려고 하는데 아마 대부분의 이 파운데이션 모델은 뭐 예를 들어 오픈 AI나 뭐 어 큰 회사들이 만들고

있고 그것들을 갖다 쓰기는 어렵다고 아마 다들 생각하고 계실 거예요 뭐 GPT-4나 ChatGPT 이런 것들 근데

요즘에 어떤 경향이 면은 어 이런 파운데이션 모델도 경량화되고 굉장히 많은 회사들이 만들어지고 있어요.

그래 특히 이제 어 어 스타트업들이 어 이런 파운데이션 모델들을 많이 만들고 있고요 어 예를 들어서

파운데이션 모델을 원하는 파운데이션 모델을 선택해서 어 우리가 사용을 할 수가 있습니다 어 예를 들어서 뭐 아마존에서도 이제 저희가 타이타이

모델 만들고 있는데 뭐 텍스트 요약이나 뭐 생성 분류 뭐 Q&A 이런 걸 할 수 있고 또 엔로 API라는 회사에서 스타트 만들고

있는 클라우드 클라우드 클라우드는 그 파운데이션 모델이 있는데 이것도 어 대화라는 질문 답변 우리가 ChatGPT

ES 어느 정도 하고 있는 모든 작업들을 할 수 있고 또 뭐 번역 작업이라는 이런 것도 또 가능하고요 어 또 많은 분들이 아시겠지만

스테빌리티 AI에서 만든 스테빌리티 퓨저 모델이 이제 예를 들어서 뭐 이미지 만들어 달라고 할 때 만들어

주는 모델이 오픈소스 모델이기도 하고 또 AI 21 Labs나 코히어 이런 회사에서 만드는 스타트업들에서 만드는

파운데이션 모델을 어이 클라우드에서 바로 각 어 기능을 바로 활용해서 사용할 수가 있습니다 아마 이제 많은 분들이 그 아마존에서도 이런

파운데이션 모델을 만드는지 궁금하실 분분이 계실 것 같은데요 어 저희도 저희가 이제 저희가 갖고 있는

데이터와 일반 데이터들 다 해서 거대 모델로 이제 아마존 타이탄이라고 하는 이제 LLM 그러니까 이제 거대 언어

모델들을 지금 만들고 있고요 어떤 모델은 이제 아무래도 아마존에 있는 데이터들을 많이 또 많이 넣어서

학습을 했기 때문에 어 도메인 특정 도메인들을 예를 들면 마케팅이라는 검색이라는 상품 추천이라는 뭐 요런 이제 어

도메인의 좀 정확도가 훨씬 높고 또 뭐 부적절한 어떤 콘텐츠들 뭐 이런

것들을 잘 제어해 주는 그런 어 책임이 있는 AI 기능 같은 것도 이제 포함을 하고 하고 있습니다 이제 아마존 베드락이라는 서비스가

지금 이제 저희가 프라이빗 프리뷰 아마 조만간 이제 정식 출시가 될 텐데 여기 들어가 보면은 이제 원하는

파운데이션 모델들을 이게 선택을 한 다음에 내가 원하는 것들을 이제 뭐 챗GPT처럼 이제 뭐 질문을 하면은

해주고 생성도 해주고 이렇게 어 간단하게 어 해 볼 수가 있습니다 그러면 이제 우리가 어 생성형을 가지고 어떤 회사 내에 있는 서비스

앱을 만든다 그럼 이 어떤 형태로 될지를 한번 예측을 해보고 또 이제 앞으로 우리가 회사에서 주로 이제

만들고 있는 애플리케이션들 서비스들 기능들 이런 것들이 이 생성형 AI 통해 가지고 많은 것이 좀 달라지거든요 그 그런 것들을 좀 한번

살펴보도록 하겠습니다 어 예를 들어서 어 이제 이 크게 네 가지 어떤 어 이 이 가정을 통해서 우리가 생성형

AI 만들 수 있는데요 처음에는 이제 우리가 채치 빛에 넣는 그런 요청들 이런 걸 프롬프트 하잖아요 그래서

프롬프트를 먼저 넣습니다 예를 들어서 어 고객이 뭐 휴대폰 가입 폐지를 하고 있는데 이거를 좀 뭐 중단하고

가입 해지 안 하게 하고 싶게 하고 싶다라고 하면 어떻게 하냐면은 먼저 해산에 이런 뭐 통화 기록이라는 CS

내용들이 이런 것들이 있을 거예요 그런 컨텍스트가 있을 거고요 그런 다음에 생성 AI 모델을 여기 선택을 합니다 예 그런 다음에 이거를 연결해

가지고 생성 AI 답변을 하게 하는 거죠 그러니까 과거에는 그런 통화 기록을 통해 가지고 어 CS 그거 기록을 보고 뭐 거기서 두는 추천

기록을 보고 지금 자기가 직접 답변을 했다고 하면 생성는 굉장히 자연스럽게 말을 해 주잖아요 그러니까요 컨텍스트

데이터와 모델에서 만들어진 생성형 문장들을 합쳐 가지고 아 이렇게 자연스럽게 가이드를 이렇게 쭉쭉쭉쭉

생성해 줄 수 있도록 그렇게 만들 수 있겠죠 그러면 이런 것들이 일종에 하나의 그 기능 세트로 회사의 어떤

어 피처로 만들 수 있을 겁니다 그래서 우리가 이런 어떤 생성 AI 앱을 만드는 과정을 프롬프트 엔지니어링이 하고요 제가 이제 한

가지 그 신제품을 출시한다는 어떤 예를 들어서요 프롬프트 엔지니어링이 어떻게 해서 어

기능들이 구현될 수 있을지 한번 잠깐 보여 드리도록 하겠습니다 만약에 여러분들이 이제 마케팅 매니저나

아니면 신제품 그 출시를 하는 담당자라고 하면은 먼저 이제 제품에 대한 뭐 홍보 설명도 만들어야 될

거고 또 제품 이미지도 만들어야 될 거고 나중에 이걸 이제 뭐 뭐 홍보를 한다고 하면 트위터나 뭐 페이스북이나

이런데 카피 같은 걸 만들어야 될 거고 또 검색 엔진 같은데 올리려면 검색 엔진에 의한 뭐 최적화 용어도

SEO 용어 같은 것도 선택을 해야 될 거고 이런 어떤 다양한 작업들이 있을 거예요 근데 이런 것들을 각

생성 AI 있는 모델들을 가지고 어 만들어 볼 수가 있습니다 예를 들면 이제 엔트로피의 클로이드는 데이터를 어 저기 생성 파운데이션 모델을 써서

몇 가지 프롬프트 예를 들어 뭐 편안함 내구성 뭐 요런 어떤 기능적인 것들을 넣었을 때 좀 길게 요거를

문장을 넣어 갖고 좀 카 제품 설명서를 이렇게 만들어 주세요 이렇게 하면 이제 제목에다가 편안하고 튼튼한

런던 워커 신발 이렇게 하고 이제 이렇게 쭉 이게 글 내용들 쭉 넣어서 어느 정도 원하는 문구들을 예

머리싸매고 이렇게 막 쓰지 않아도 이렇게 어느 정도 이제 만들어 주겠죠 그런 다음에 아 사진을 어도 이제 신발

사진을 찍었는데 이 신발 사진이 아이 런던을 배경으로 이게 만들고 싶어요 런던 런던 배경으로 딱 만들어 가지고

뭔가 좀 멋있게 딱 구성해 달라고 이렇게 하면 딱이 빅벤을 딱 배경으로 해 가지고 딱 이게 사진 이 신발을

딱 넣어 갖고 이게 만들어 줄 수 있겠죠 이게 이제 스테이블 AI 디퓨전 모델을 써서 이렇게 부정을 할

수 있을 것 같고 그다음에 세 번째는 아 제품 세부 설명서를 우리가 만들었으니까 그걸 기반으로 해가지고

소셜 미디어 카피를 만들어 가지고 트위터에다 올릴 수 있는 뭐 딱 딱 카피를 딱 만들어 달라 이렇게 했을

때 AI 2스 주라식 2 모델을 썼더니 이렇게 이제 짧게 이렇게 구성을 해주고 밑에 뭐 해시태그까지

딱 달아 가지고 소셜미디어 카피를 만들어 주고 이제 마지막으로 우리가 검색 엔진에 올릴 수 있는 SEO

엔진에 올릴 수 있는 검색 키워드들을 쭉 나열해 달라고 하니까 어 기존에 있는 모델에 있는 안에 있는 거와

현재 데이터들 결합해 가지고 아주 적합한 이런 용어들이 검색 그 키워드들 이런 것들 쫙 한 다음에 우리가 이제 나중에 검색 광고 같은

거 할 때도 이렇게 넣을 수 있겠죠 그러니까 이런 어떤 모든 작업들을 파운데이션 모델에 있는 기능들에 특히

이제 특정 도메인에 더 특화된 모델이 있으면 그것들 활용해서 이렇게 만들 수 있을 것 같습니다 이게 진짜 대나

이렇게 궁금해하시는 분들이 있어 가지고 제가 어 실제 배드락 되는 어 데모를 잠깐 보여 드리도록 할게요

지금 이제 여러 모델들을 이렇게 선택을 할 수가 있고요 지금 AI 엔트로피의 클로이드 모델을 통해서 아까 뭐 그 편안함 내구성 이런 걸

넣었을 때 한국어도 이렇게 넣어 주면 어 이렇게 딱 그 문구 홍보 문구들을 만들어 주는 거를 볼 수가 있겠습니다

어 제가 이제 300자 밖에 안 했기 때문에 좀 짧게 나오 나오고 있고요 그다음에 이제 그러면 이제 사진 같은 걸 넣어서 뭐 이 신발 사진을 넣었을

때 좀 더 좋은 그 어 그 신발을 만들어 달라 지금 이제 런던 배경으로 이제 신발을 만들어 달라고 하니까 딱

기업 내부 데이터를 활용한 생성 AI 기반 서비스 구축하기

GTT KOREA

발표자 소개 및 주제 발표: 기업 내부 데이터를 이용한 생성 AI 기반 서비스 구축

생성 AI 주목받는 이유: 빅데이터 축적 및 컴퓨팅 파워 향상

딥러닝 기술 발전의 기여: 기존 기계 학습의 한계 극복

기존 기계 학습과 딥러닝의 차이점: 데이터 복잡성 및 결과 다양성

생성형 AI의 특징: 복잡한 데이터 입력과 다양한 작업 수행

생성형 AI 활용 및 기업 내 서비스 구축 전략

파운데이션 모델 활용 및 파인튜닝의 중요성 강조

기업 내 생성형 AI 서비스 구축을 위한 네 가지 요소 제시

파운데이션 모델 확보 및 안전한 사용 방안 필요성 언급

아마존 베드락 서비스 소개: 다양한 파운데이션 모델 제공

생성형 AI 기반 서비스 앱 구축 형태 및 예시

생성형 AI 앱 구축 과정: 프롬프트 엔지니어링을 통한 기능 구현

신제품 출시 시나리오를 통한 프롬프트 엔지니어링 예시 제시

아마존 베드락 데모 시연: 다양한 모델 활용 및 기능 소개

생성형 AI의 한계점 및 컨텍스트 데이터 활용 방안

한계점: 환각 현상 및 지식 단절 현상

컨텍스트 데이터 활용: 검색 증강 생성 기법 소개

지식 기반 데이터 활용: 벡터 데이터베이스 활용

벡터 데이터베이스를 이용한 검색 증강 생성 과정 설명

파인튜닝 및 클라우드 서비스 활용 전략

파인튜닝의 어려움과 최근 경량화된 파인튜닝 기법 소개

아마존 베드락의 파인튜닝 기능 소개

아마존 베드락 서비스의 장점: 인프라 관리 없이 손쉬운 사용 가능

기업의 생성형 AI 도입 전략 변화: 클라우드 서비스 활용 증가

생성형 AI 도입을 위한 권장 접근 방식

지속적인 실험 및 기술 변화 주시 강조

클라우드 서비스 활용 및 단계적 투자 전략 제안

성공적인 기술의 조건: 낮은 진입장벽

결론: 완벽보다는 현실적인 접근 방식 강조

기업 내부 데이터를 활용한 생성 AI 기반 서비스 구축하기

스크립트