기업 내부 데이터를 활용한 제너레이티브 AI 서비스 구축

기업 내부 데이터를 사용하여 AI 서비스를 생성하면 비즈니스 운영을 혁신하고 의사 결정 프로세스를 개선할 수 있습니다.

### 기업 내부 데이터를 사용하여 AI 서비스 생성
* 👋 안녕하세요, 저는 AWS에서 일하고 있는 윤석찬입니다. 오늘은 **기업 내부 데이터를 활용한 생성 AI 기반 서비스 구축**에 대해 말씀드리겠습니다.
* 💡 생성형 AI가 주목받게 된 이유는 **과거의 빅데이터와 향상된 컴퓨팅 파워, 특히 클라우드 기술의 발전** 덕분입니다.
* 🔍 딥러닝은 기존 기계 학습 기술과 달리 **복잡한 데이터로부터 다양한 결과**를 생성할 수 있는 모델을 가능하게 했습니다.
* 🛠 현재의 생성형 AI는 **하나의 대형 모델이 여러 작업**을 수행할 수 있어, 예전의 기계 학습 모델과 큰 차이를 보입니다.
* 📊 기업에서 생성형 AI를 활용하기 위해서는 **AI 지식 없이도 사용 가능**하고, **저렴한 비용으로 운영**할 수 있는 파운데이션 모델이 필요합니다.
* ☁ 아마존 베드락과 같은 서비스는 **다양한 파운데이션 모델**을 제공하여 기업들이 쉽게 생성형 AI를 활용할 수 있도록 돕습니다.
* 📈 예를 들어, 마케팅 매니저는 **제품 홍보 문구 작성, 이미지 생성, 소셜 미디어 카피 작성 등 여러 작업**을 생성형 AI를 통해 효율적으로 수행할 수 있습니다.
* 🎨 생성형 AI를 통해 **기업의 다양한 애플리케이션과 서비스가 혁신적으로 변화**할 수 있는 가능성을 보여주고 있습니다.

### 제너레이티브 AI: 기초 모델과 미세 조정 기술을 통한 비즈니스 운영 향상
* 🤖 기초 모델은 입력 프롬프트에 따라 그럴듯한 텍스트를 생성하지만 **"환각"이라고 하는 무의미한 출력**을 생성하고 **"지식 단절"이라고 하는 오래된 학습 데이터로 인한 지식 격차**로 인해 어려움을 겪을 수 있습니다.
* 🔍 이러한 한계를 해결하기 위해서는 다양한 기술을 사용하여 컨텍스트 데이터를 기초 모델에 효과적으로 통합해야 하며, 그 중 하나는 **정확한 결과를 위해 기존 지식과 새로운 프롬프트를 결합하는 검색 증강 생성**입니다.
* 📊 이 방법은 회사 문서에서 벡터 데이터베이스를 생성하여 **의미적 근접성 계산**을 통해 관련 정보를 검색하여 향상된 응답을 제공합니다.
* 💡 검색 증강 생성은 지식 베이스를 쿼리하여 **프롬프트가 보강되는 간단한 프로세스**로, 기초 모델에서 정확한 결과물을 더 쉽게 생성할 수 있습니다.
* 🛠 기초 모델을 미세 조정하는 것은 정확도를 높이기 위해 **고품질 데이터 세트와 사람의 피드백으로 모델을 재학습**해야 하므로 상당한 시간과 리소스가 필요한 또 다른 방법입니다.
* 📈 최근의 발전으로 **파라미터를 효율적으로 미세 조정할 수 있는 기능**이 도입되어 처음부터 다시 시작하지 않고도 더 작은 데이터 세트를 모델 조정에 사용할 수 있어 비용과 복잡성을 줄일 수 있습니다.
* 🌐 AI 인프라에 대규모 투자를 하기 전에 다양한 기반 모델에 액세스하고 기능을 테스트하기 위해 **Amazon Bedrock과 같은 클라우드 서비스**를 도입하는 기업이 점점 더 많아지고 있습니다.
* ⚖ "완벽은 선의 적"이라는 볼테르의 통찰처럼, 기술이 발전함에 따라 지속적인 실험과 장벽이 낮은 솔루션에 집중하는 것이 비즈니스 운영에서 **제너레이티브 AI를 성공적으로 구현**하는 데 매우 중요할 것입니다.

기업 내부 데이터를 활용한 생성 AI 기반 서비스 구축하기

GTT KOREA

발표자 소개 및 주제 발표: 기업 내부 데이터를 이용한 생성 AI 기반 서비스 구축

생성 AI 주목받는 이유: 빅데이터 축적 및 컴퓨팅 파워 향상

딥러닝 기술 발전의 기여: 기존 기계 학습의 한계 극복

기존 기계 학습과 딥러닝의 차이점: 데이터 복잡성 및 결과 다양성

생성형 AI의 특징: 복잡한 데이터 입력과 다양한 작업 수행

생성형 AI 활용 및 기업 내 서비스 구축 전략

파운데이션 모델 활용 및 파인튜닝의 중요성 강조

기업 내 생성형 AI 서비스 구축을 위한 네 가지 요소 제시

파운데이션 모델 확보 및 안전한 사용 방안 필요성 언급

아마존 베드락 서비스 소개: 다양한 파운데이션 모델 제공

생성형 AI 기반 서비스 앱 구축 형태 및 예시

생성형 AI 앱 구축 과정: 프롬프트 엔지니어링을 통한 기능 구현

신제품 출시 시나리오를 통한 프롬프트 엔지니어링 예시 제시

아마존 베드락 데모 시연: 다양한 모델 활용 및 기능 소개

생성형 AI의 한계점 및 컨텍스트 데이터 활용 방안

한계점: 환각 현상 및 지식 단절 현상

컨텍스트 데이터 활용: 검색 증강 생성 기법 소개

지식 기반 데이터 활용: 벡터 데이터베이스 활용

벡터 데이터베이스를 이용한 검색 증강 생성 과정 설명

파인튜닝 및 클라우드 서비스 활용 전략

파인튜닝의 어려움과 최근 경량화된 파인튜닝 기법 소개

아마존 베드락의 파인튜닝 기능 소개

아마존 베드락 서비스의 장점: 인프라 관리 없이 손쉬운 사용 가능

기업의 생성형 AI 도입 전략 변화: 클라우드 서비스 활용 증가

생성형 AI 도입을 위한 권장 접근 방식

지속적인 실험 및 기술 변화 주시 강조

클라우드 서비스 활용 및 단계적 투자 전략 제안

성공적인 기술의 조건: 낮은 진입장벽

결론: 완벽보다는 현실적인 접근 방식 강조