안녕하세요 저는 SK 브로드밴드 AI R&D 팀에서 근무 중인 김연석 매니저라고 합니다 지금부터

마케터의 입맛에 맞게 머신 러닝부터 LM까지 제공하는 AI 고객 타겟팅 툴 테이스트에 대해서 발표를 해

드리며 저희 브로드밴드에서 AI를 어떤 식으로 업무에 활용하고 있는지 사례를 공유드리도록

하겠습니다 네, 발표에 앞서서 제가 이제 4년 차로 지금 근무를 하고 있는데 지금 이런 영광스러운 자리에

세 번 연속으로 이렇게 발표를 할 수 있게 되었습니다 사진이 옛날에 2년 차 때 어릴 때 모습이라 조금 다르긴

한데 저는 지금 팀에서 이제 머신러닝 모델 개발 그리고 LM 기반의 서비스 개발의 업무를 수행하고

있습니다 네 지금부터 본격적으로 테이스트에 대해서 소개를 해 드릴 텐데요 일단 테이스트 등장 배경부터

말씀을 드리겠습니다 먼저 마케팅 분야에서는 생성형 AI 등장하기 이전부터 다양하게 AI 기술들이 활용이 되

있었는데요 그중에서도 특히 뭐 차이라든지 타게팅 초개인화 예측 분석 분야 등에서 활발하게 사용이 되고

있었습니다 그 이 분야 대부분들은 주로 이제 CRM 관련된 액션 CRM 관련된 액션들 연관이 되어 있는데요 이러한 CRM이라고 하는

것은 이제 고객 관계 관리를 의미합니다 즉 신규 고객을 유치하는 것뿐만 아니라 기존의 고객분들이 해당

서비스를 사용을 하시면서 이제 조금 더 어 어떻게 하면 더 많은 서비스를 이용하실 수 있으실지 이런 부분들을

고민하는 마케팅의 영역을 의미합니다. 그래서 단계를 나누자면 크게 네 가지 단계로 이렇게 구분해 볼 수

있을 텐데요. 각 단계별로 사용되는 기술은 다음과 같습니다. 먼저 고객 세분화합니다. 고객 세분화는 이제 유저

세그먼트를 구성해서 이제 타겟 마케팅을 수행하는 방법론이라고 생각을 하시면 되는데, 여기선 이제 데모그래픽

정보를 활용을 한다든지 아니면 규칙 기반의 어떤 필터들을 조합을 하여 세그먼트를 구성을 하는 방법도 있고,

그다음에 잘 아시는 것처럼 K-means 클러스터링과 같은 비지도 학습 기반으로 클러스터링을 수행을 할 수도

있습니다. 다음은 개인화 영역인데요. 이제 개인화 영역은 알고 계신 것처럼 이제 머신러닝 기반의 분류

폐기 모델 그리고 생성형 AI 등을 활용해서 이제 개인화된 서비스를 제공할 수 있는 부분입니다. 다음으로 자동화 같은 경우에는 이제 주로 테스트 혹은

캠페인 등에서 사용이 되는데요. 뭐 AB 테스트를 자동화 한다든지 아니면은 캠페인 자동화를 통해서 이제 어 마케팅의 효율화를 돕는

영역이라고 생각을 해 주시면 되고 제가 여기 이제 롭스를 적어 놨는데 이 부분에 대해서 간단하게 말씀을 드리면

이제 머신러닝 모델을 주로 마케팅 분야에서 활용을 하시잖아요. 그러다 보니까 모델 관점에서의 어떤 자동화를

보면은 롭스를 빼놓을 순 없어서 이 부분에 포함을 시켰습니다. 마지막으로 고객과 상호 작용을 하는 즉 VOC든지 아니면

서베이 이런 부분들에 대해서 얻는 정보들을 바탕으로 서비스를 개선하는 상호작용 파트가 있습니다. 이 중에서도 고객 타게팅

영역은 고객 세분화 그리고 개인화 고객, 죄송합니다. 고객 타게팅 영역은 이제 고객 세분화와

개인화 영역에 이제 걸쳐져 있는 부분인데요. 타겟팅은 이제 한정된 자원으로 최대의 효과를 얻는 방법입니다. 그래서 기존에는 뭐

규칙이라든지 통계 그리고 세그먼트 그리고 머신 러닝 스코어 기반으로 각각의 방법을 사용해서 수행을

했었으나 최근에는 이를 또 이제 결합을 해 가지고 새롭게 대상군을 추출하는 캠 형태로, 캠페인 등을 진행하고

있습니다. 예, 저희는 산내 이제 마케터 분들과 데이터 담당자분들 몇 분의 어떤 의견을 한번 조사를 해

보았는데요. 이제 공통적으로 앞에서 보시는 것처럼 어 마케터 분들도 이제 산내 분석, AI 접근은 가능을 하신데

이제 개인의 배경 지식에 따라서 접근성의 차이가 있음을 확인할 수 있었습니다. 또 이제 팀 내에 이제 분석 인력이 없으신 경우에는

자연스럽게 이제 산 담당자들에 대한 의존도가 커지는 것을 확인할 수 있었습니다. 즉 이제 만약 분석과

관련된 배경 지식이 없고 그리고 팀 구성에 분석 인력이 없으실 경우에는 데이터 담당자에게 요청해야만

타겟군을 이제 추출할 수가 있었고 이럴 경우에는 이제 실시간 타게팅이 불가능하다라는 어려운 문제가 발생을

하였습니다. 이에 저희는 테스트라는 툴을 개발을 했습니다. 저는 화면은 테이스트 전체 이제 웹 화면을 나타내는 건데요. 이제

제일 위쪽에 보이시는 타게팅 대시보드 영역이 이제 규칙 그리고 AI 스코어 기반으로 고객의 어떤 타겟군을 추출할

수 있는 영역입니다 그리고 아래 보이시는 부분이 이제 규칙 기반의 필터 영역이라서 주로 사용되는 어떤

프리셋 같은 형태로 고객분들을 빠르게 필터링 할 수 있는 조건을 제공하고 있고요 마지막으로 오른쪽을 보시면은

이제 L&M 헬퍼 봇이라고 해서 이제 데이터를 추출하는 데 도움을 주는 툴입니다 그래서 다음과 같은 형식으로 화면을

아 이제 툴을 사용을 할 수가 있는데요 이제 왼쪽 화면과 같이 이제 원하시는 조건들을 클릭을 해 가지고

어 구간을 설정하고 이에 대한 고객군을 추출을 할 수도 있고 또 오른쪽 영역에 아 왼쪽 영역에서 보시면은 이제 그 자연어로 질의를

했을 때 쿼리를 생성하고 사내 데이터 플랫폼에서 이제 데이터를 추출을 해 가지고 손쉽게 조회를 할 수 있다라는 점이

특징입니다 이러한 테이스트는 저희 산내 롭스 플랫폼 위에 존재하는 AI 스코어링 모델 그리고 타게팅 대시보드

LM 헬퍼봇이 세 가지를 엮어 가지고 어 통합적인 기능을 지원하고 있습니다 그래서 이를 통해서 사내 마케터의 AI 활용 업무 효율화를 지원하고 있습니다네 그래서 테이스트가 제공하는 기능들을 한번 요약해서 말씀을 드리면

먼저 AI 스코어링이 있습니다 AI 스코어링은 앞에서도 말씀드린 것처럼 기계 학습 기반의 스코어링 여러 가지

모델들을 의미를 하는데요 여기에서는 다수 상품에 대한 업셀 혹은 리텐션을 지원하는 모델들이 존재합니다 또한 이

모델들은 옵스 플랫폼에서 이제 라이프 사이클 관리가 되기 때문에 어 이런 점이 장점이라고 볼 수 있고 그다음에

이러한 AI 스코어링 모델만 단독으로 사용을 하신다고 하면은 이제 SQL이 가능하신 뭐 마케터분들 아니면은 산내 캠페인 시스템에

직접적인 연동을 통해서 자 일부 자동화를 수행을 할 수 있습니다 다음으로 타게팅 대시보드 있데요 타게팅 대시보드 같은 경우에는 이제

고객의 기준 정보 혹은 행동 정보들을 기반으로 축을 구성을 하고 이를 기반으로 사용자가 원하는 조건을 클릭을 해서 다이나믹 타게팅을 수행할

수 있습니다 즉이는이 또한 이제 특징이 업무 특성에 맞게 커스터마이징이 가능한 점이 있는데요 이

부분 같은 경우 뒤에서 좀 더 자세하게 말씀을 드리도록 하겠습니다 이러한 타게팅 대시보드는 다양한 조건으로 대상군을 추출할 때

이제 사용될 수 있고 마지막으로 LLM 헬퍼봇이라고 하는 것은 이제 앞에서 말씀드린 것처럼 자연어 질리

기반의 데이터를 추출을 할 때 사용이 될 수 있는데요 여기서 사용되는 디비는 저희가 주로 사용하시는 어떤 피처를 이제 하나의 테이블 형태로

구성을 했고 이를 기반으로 이제 어떤 데이터를 추출하는 것이라고 생각을 해 주시면 될 거 같습니다 또한 주요한 특징으로는 이제 시각화 및 인사이트

추출 지원을 제공하는데요 이 부분도 이제 뒤에서 좀 더 말씀을 드리도록 하겠습니다 lml 사용했기 때문에

자연스럽게 이제 쿼리를 모르더라도 산에 있는 데이터들을 손쉽게 추출할 수 있을 추출할 수 있기 때문에 그럴

때 사용을 하실 수 있습니다 이제 다음부터는 이제 한 가지 항목별로 이제 보다 자세한 말씀을 드릴 텐데요

먼저 AI 스코어링 모델입니다 이제 AI 스코어링은 이제 저희 회사 같은 경우에 BTV 아는 서비스를 제공을

하고 있는데요 BTV 가입부터 잘 사용을 하시다가 나중에 티어 업까지 이렇게 고객의 어떤 여정의 단계별로

활용 가능한 15개의 모델을 개발해 가지고 마케터들의 AI 기반 업무 효율화를 지원하고 있습니다 각 단계를

간단하게 말씀을 드리면 먼저 신규 가입 단계에서는 이제 월정액 신규 가입 캠페인 모델이라든지 등을 사용을 해서 어떠한

새로운 OTT, ppm 같은 월정액 상품들의 가입을 유도할 수 있는 그런 모델들로 구성을 했고요 그다음에

리텐션 같은 경우에는 이제 중간에 월정액 사용을 중단하시든지 하실 때 이런 부분에서 리텐션을 수행할 수

있도록 이를 돕는 모델 여섯 가지로 구성이 되어 있습니다 마지막으로 업 단계에서는 이제 크로스 셀링 뿐만 아니라 업셀

관점에서 봤을 때 기존에 사용하시는 월정액이 아니더라도 다른 월정액을 사용하실 수 있도록 이렇게 복합적으로

세 가지 모델을 구성해서 총 15가지 모델을 개발하였고 동시에 저희는 이제 메록스 플랫폼을 활용해서

라이프사이클 유지를 하고 있습니다 다음은 AI 스코어링 성능에 대해서 이제 말씀을 드릴 텐데요 이제

두 가지 실험 결과를 가져왔습니다 그래서 왼쪽을 보시게 되면은 이제 저희가 만든 AI 모델들이 이제 규칙

기반의 어떤 캠페인을 실행했을 때 AB 테스트를 확인을 해 본다면 기존 대비 약 1.7배 정도 반응률이

증가하는 것을 확인을 할 수 있었습니다 그리고 오른쪽 같은 경우에는 표가 이제 조금 이해하시기 어려우실 수도 있는데 간단하게 설명을

드리면 이제 상위 20%, 중위 60%, 하위 20% 각각 머신 러닝의 스코어 구간을 의미합니다. 그리고

어, 개별 컬럼에서 이제 2개월 50% 그리고 2개월 30% 확인하실 수 있는 거는 이제 고객들에게 제공된

오퍼의 정도인데요. 여기에서 확인할 수 있는 거는 하위에 속하는 스코어, 하위 스코어에 속하는 고객분들 다

이제 상위 스코어에 속하는 고객분들은 더 낮은 오퍼를 받더라도 마케팅에 더 잘 반응을 하는 것을 확인을 한다 할

수 있었다라는 실험이었습니다. 즉 이제 오퍼를 다르게 제공했을 경우에도 머신 러닝 모델 자체의 스코어들이

유의미하게 사용이 될 수 있다라는 것을 확인할 수 있는 실험이었습니다. AI 스코어링 모델 같은 경우에는 이제 기존에는 만들어진

모델을 데이터 과학자들이 개입을 해서 **산내 분석계** 라든지 아니면 캠페인 시스템에 연동하는 작업을 거쳐서

사용을 했어야 되는데요. 어 이제 어 **테이스트 화**, 테이스트의 접목이 되면서 이제 데이터 과학자들은 그냥 단순하게 모델을

만들고 이를 워크플로우에 등록을 하기만 하면은 마케터 분들은 이제 쿼리가 가능하시다고 하면은 분석계 디에 직접

접근을 하실 수도 있고 쿼리가 불가능하시고 **산내** 캠페인 시스템을 사용하실 수 있는 분들이라면 이제

자동적으로 이제 배치를 수행을 해서 예측 결과들이 론 추론 결과들이 이제 배포가 되 아 그 적재가 되기 때문에

캠페 시스템에서 직접적으로 타게팅을 수행을 하실 수 있다라는 점이 강점입니다. 다음으로는 타게팅 대시보드입니다. 이제

화면에 대해서 보다 자세하게 설명을 드리도록 할 텐데요 이제 가장 먼저 이쪽에 보이시는 부분이 데모그래픽 정보 그리고 고객들의

유저 정보들을 기반으로 만든 축들을 의미를 합니다 그리고 그 옆에 보이시는 영역이 이제 각 개별 AI 모델들의 스코어를 의미를 하고요

아래쪽은 아까도 말씀드린 것처럼 룰 베이스의 필터를 의미를 합니다 저희는 타게팅 대시보드에서

이제 고객을 가장 쉽게 표현할 수 있는 방법을 고민을 했었습니다 그때 저희는 이제 선이라는 세톱박스 등으로

이제 고객을 가정한다고 했을 때 이를 가장 쉽게 표현하는 방법은 선이라고 생각했습니다 이에 다음과 같은 플롯을

기준으로 대시보드를 구성하였습니다 그래서 각 축들에 대해서 어떠한 정보를 담고 있는지 보다 자세하게 말씀을 드리면 첫 번째로

데모그래픽 그리고 유세지 정보 축과 관련돼서는 이제 기준 정보를 활용을 해서 어떤 마케팅을 수행할 고객들에

대한 페르소나를 정의하는 영역이라고 생각을 해 주시면 될 거 같습니다 그래서 여기에는 고객들의 뭐 성별

연령대와 같은 기준 정보 그리고 서비스를 얼마나 가입하고 사용하고 계시는지 TV 시청은 얼마나 되시는지

이런 부분들과 관련된 유세지 정보들이 포함이 되고요 이제 오른쪽에 AI 모델 같은 경우에는 이제 머신러닝

모델 기반에 여러 가지 스코어이 붙게 되는데 앞에 AI 스코어링 영역에서 설명을 드린 것처럼 신규 가입 리텐션

그리고 업셀 고객 행동 예측 관련된 모델들의 모델들을 조합하여 사용을 할 수 있습니다 그리고 아래 룰베이스 필터

같은 경우에는 지금 이제 현업에서 주로 사용하는 사전 정의 규칙에 대한 영역인데요 현재는 이제 아프라 시청

시간 티어 이런 것들을 제공을 함으로써 빠르게 이제 티어 어 시청을 얼마나 많이 하시는 분들 적게 하시는 분들

이런 부분들을 손쉽게 이제 필터링 하실 수 있도록 현재 프리셋 형태로 제공을 하고 있습니다 다음은 커스터마이징입니다

이제 저희가 앞에서도 이제 시각화 축들은 대시 타게팅 대시 보는 커스터마이징이 가능하다라고 말씀을

드렸었는데요 이제 아무래도 이제 모델의 종류도 다양하고 사용하시는 피처드 부서별로 다양하게 존재할

마케터의 '입맛'에 맞게 ML부터 LLM까지 제공하는 AI 고객 타겟팅 툴 'TASTE' | SK브로드밴드 김현석

2023년, SK의 AI 기술은 어떤 미래를 그리고 있을까요?
최고의 기술 기업과 전문가들이 경험과 노하우를 나누는 자리에 여러분을 초대합니다.


SK AI SUMMIT 2024

SK브로드밴드 AI R&D팀 김연석 매니저 자기소개

AI 고객 타겟팅 툴 '테이스트' 발표 목표 설명

테이스트 등장 배경 설명: 마케팅 분야의 AI 기술 활용 현황

CRM(고객 관계 관리) 개념 설명 및 마케팅 영역에서의 중요성 강조

고객 타겟팅 단계(고객 세분화, 개인화, 자동화, 상호작용) 및 각 단계별 기술 소개

고객 타겟팅 영역의 중요성 및 기존 방식과의 차이점 설명

마케터 및 데이터 담당자 설문조사 결과 공유: AI 접근성 차이 및 분석 인력 부족 문제점 제기

테이스트 툴 소개: 타겟팅 대시보드, 규칙 기반 필터, LLM 헬퍼봇 기능 설명

테이스트의 핵심 구성 요소(AI 스코어링 모델, 타게팅 대시보드, LLM 헬퍼봇) 및 통합 기능 설명

테이스트가 제공하는 기능 요약: AI 스코어링, 타게팅 대시보드, LLM 헬퍼봇

AI 스코어링 모델: BTV 서비스 단계별 활용 가능한 15개 모델 개발 현황 및 각 단계별 모델 종류 설명

AI 스코어링 모델 성능: AB 테스트 결과 및 스코어 구간별 고객 반응률 분석 결과 제시

타게팅 대시보드: 데모그래픽 정보, AI 모델 스코어, 룰 베이스 필터를 활용한 고객 타겟팅 방식 설명

타게팅 대시보드 커스터마이징 기능 설명 및 향후 고도화 계획

LLM 헬퍼봇: 데이터 추출, 시각화 및 인사이트 제공, 데이터 과학 관련 Q&A 기능 설명

LLM 헬퍼봇 사용 기술: 어드밴스드 레그, 다이나믹 퓨샷, 셀프 코렉션

테이스트의 핵심 기능 및 장점 요약

개발 비용 절감 효과 및 향후 모델 재활용 계획

향후 고도화 계획: AI 스코어링 모델 확장, 타게팅 대시보드 커스터마이징 강화, LLM 헬퍼봇 에이전트 전환

마케터의 '입맛'에 맞게 ML부터 LLM까지 제공하는 AI 고객 타겟팅 툴 'TASTE' | SK브로드밴드 김현석

마케터의 '입맛'에 맞게 ML부터 LLM까지 제공하는 AI 고객 타겟팅 툴 'TASTE' | SK브로드밴드 김현석

스크립트