네 안녕하세요. 아 오늘 그 paa 세션 부작의 마지막입니다. 앞에 이제 저희 그 정석근 부사장님 오전 발표에 이어서 좀 전에 저희 시에라가

U 관점으로 좀 소개를 해 드렸고요. 저는 이제 마지막으로 저희의 이제 전반적인 기술적인 내용이나 그다음에

저희가 또 어떤 부분들에서 어떤 노력들을 조금 더 더 비하인드 신에서 했었는지 좀 소개해드리려고

나왔습니다. 그 저는 이제 제 발표가 이왕이면 유용했음 좋겠고 또 유용한 거보다 이왕이면 재밌었으면 좋겠다라는

생각을 하는데요. 재미가 있을지 모르겠습니다. 예 요건 제 사진인데 민망하니까 넘어가고요. 어 안

넘어가네요. 네네 민망하다고 생각하니까. 네 아 아 그 채즈 PT 시작으로 저희가 벌써 클로드 제미나이 여러 서비스들이

있어 왔고 사실 저를 포함해 굉장히 많은 분들이 이미 그 서비스들을 너무 잘 활용을 하고 계시죠 저 저만 해도

오늘도 벌써 몇 번을 사용을 했고 제 주변에도 보면 대부분의 사람들이 사용을 하는 거 같습니다 그런데

여전히 저는 사실은 어 약간의 좀 간극을 느낍니다 어떤 간극을 느끼냐면

우리의 이제 실질적인 삶의 여러 가지 문제들 꼭 생산적인 활동이라 정보를 찾는 거라든가 그런 것 외에도

실질적인 활동들에 대해서 어떤 문제들을 해결해 주려면 저희 오전 세션들 혹 방금 세션에서 계속 얘기

됐었던 것 같은 여러 가지 간격들을 좀 느끼고요 그런 이 지금 우리에 있는 AI 서비스들이 그러한 우리의 좀

실질적인 문제들에 다가가기 위해서는 일종의 어떤 프레임워크가 필요하지 않은가 이런 생각을 저희가 많이

했습니다. 핵심적인 질문은 이거죠. 우리의 하루하루의 삶에 있는 문제들에 AI가 어떻게 도움을 줄 수 있을

것인가가 저희의 큰 고민이었고 그 고민에 대한 해답을 찾는 여정이 오늘 소개해 드리는 에스터가

되겠습니다. 이미 그 AI 잘 활용하시는 분들을 저희가 보면 어 AI 통해서 다양한 아이디어를 뭐 획득을 하시거나 생각을 정리를

하시기도 하고 뭐 또 계획을 짜기도 하시죠. 그런데 이분들 하고 계시는 걸 저희가 좀 구조적으로 좀 이렇게

관찰을 해 보면 첫 번째로는 일단 AI 통해서 아이디어들을 좀 모으시고 뭐 그니까 예를 들면 원하는 프롬을

하셔서 뭐 이런 것들에 대해서 쭉 한번 초안을 받아 보시죠 그리고 그거에 대해서 생각을 하고 또 뭐 개별적으로 이제 약간 태스크 목록이나

가이드를 받아보면 그거에 대해서 또 약간 딥 다이브해서 파악을 하기도 하고 하죠 그리고 마지막으로는 뭐

이렇게 정리를 해서 실제로 이제 액션, 한국영화 결과에서 좋은 결과로 끌고 나가는 이 과정을 저희가 좀 살펴볼 수

있었고요 저희가 이걸 좀 구조적으로 만들 수 있으면 어떨까 그렇다면 AI 잘 사용하는 사람이든 잘 활용하지

못하는 사람이든 굉장히 높은 가능성을 가져갈 수 있지 않을까 이런 생각을 했고요 결국은 우리 AI 우리

일상적인 문제 해결을 실질적으로 기여하기 위한 구조를 저희는 한번 이렇게 정리를 해 봤습니다 이게 이제 앞서 특히 저희 시에라가 보여주셨던

상에 나왔던 여러 가지 요소들을 좀 포함을 하고 있는데요. 첫 번째로는 사용자의 의도를 명확하게 정리를 해

줘야겠죠. 그래서 뭐 뒤에서 제가 조금 더 자세히 말씀을 드리겠습니다. 그리고 또 사용자의 의도가

명확해졌습니다. 아, 그것들을 하기 위해서 필요한 항목들을 저희가 좀 더 더 디벨롭을 해 줘야 할 것이고요.

그리고 그런 것들이 좀 디벨롭 되고 나면 실제로 그 문제를 수행을 하기 위해서 뭐 예를 들면 아까 보셨던

택시를 호출한다거나 식당을 예약을 한다거나 그런 액션들을 AI가 내가 대신 해주거나 혹은 AI가 나를 좀 도와주거나 이런 것들이 저희가

가능하다면 아 이게 정말 진정한 퍼스널 AI 에이전트가 아닐까라고 저희가 좀 정리를 해 보았고요. 오늘

저는 그 이 구조에 대해서 저희가 어떤 기술적인 챌린지가 있었고 또 어떤 고민들을 했었는지를 조금 더 상세하게

말씀드릴 예정입니다. 음, 좀 정리해 보면 이렇게 됩니다. 앞서 말씀드린 구조를 저희가 좀 구현을 하기 위해서 음, 기술적으로

여러 가지 요소들을 좀 고민을 해야 했는데요. 여기 그림에 보시면 저희가 뭐 프라이머리 에이전트라는 것도

있고요. 그다음에 또 서브 에이전트라는 것들이 있고 이를 위해서 저희가 사용자의 뭐 컨텍스트라고 부르는 것들에

대해서 명확하게, 명확하게 해 주기 위한 관련 기술들 또 에이전트들 그리고 또 서로 상호 작용해야 하는 것들 또

그리고 무엇보다 이 과정 전반에서 우리가 개개인들에게 만족도 높은 서비스를 제공하기 위해서 활용해야 되는 개인 정보들을 또 어떻게

안전하게 다룰 것인가 이런 부분들이 있고요 또 잘 아시는 것처럼 최근에 AI 서비스는 결국엔 저희는 비용과의

싸움이라고 생각을 합니다 고객들에게 더 좋은 서비스를 제공하고 더 풍부한 영역에서 AI 기능하기 위해서는

저희는 이제 비용이라는 굉장히 큰 도전에 직면에 있고요 이런 비용을 또 어떻게 다룰 수 있을 것인지 그를

위해서 저희가 어떤 접근법을 가져가고 있는지 이런 부분들도 한번 말씀을 드려 보고 싶습니다 오늘 렇게

소개드리는 내용이 저희 서비스에 뭐 부분만을 보여 드리고 부분만을 소개해 드리는 거겠지만 저희가 지금 또

지금까지 개발해 오면서 굉장히 중요하게 고민해 왔었던 부분들을 말씀드리고 싶습니다 사실 어 이건 제가 좀

좋아하는 말이라서 한번 공유하고 싶어서 짚어서 넣어봤는데요 결국 AI 서비스 개발에 문질 또한 뭐 여느

서비스의 개발과 다르지 않다고 생각됩니다 끊임없이 문제를 이해하고 기술을 개발하고 검증하고 또 보완해

가면서 반복적으로 이 완결적인 문제 해결을 통해서 저희가 결국에는 사용자들에게 저희의 고객들에게 더

높고 좋은 경험을 제공해 드리는 것이 저희의 본질이라고 생각하고요 이 뒤에 제가 기술적으로 여러 가지 관점에서

저희의 내용들을 소개를 해 드릴 텐데 아 이러한 반복적인 과정에 있는 것이구나라는 생각하고 봐 주시면 좋을

것 같습니다 의도에 대해서 얘기를 좀 한번 해보겠습니다 음 이게 사실 저만 그런지는 모르겠지만 사실은 우리는 뭐

심지어는 검색을 할 때도 우리의 의도를 구체적으로 표현하지 않는 경우들이 있는 거 같고 일상적인 여러 의사 결정에서도 그런 경우들이 많아요.

거 같습니다. 예를 들면 모니터가 고장났다고 AI 에게 말을 했을 때 사실은 사용자가 뭘 기대하고 있을까요? 뭐 저는 그런 사람은 아니지만 어떤

누군가는 공감을 받고 싶을 수도 있을 거고요. 또 어떤 누군가는 모니터가 고장 났으니까 내가 뭘 해야 되지? 뭘

수리를 해야 되지? 수리하려면 어떻게 해야 하지? 이런 방법이도 궁금할 수도 있을 거고요. 또 어떤 사용자는 아니면

그냥 음 나 새로 구매하고 싶어. 그러니까 빨리 나에게 모니터를 추천해 줘. 이런 얘기를 할 수도 있겠죠. 그래서

저희가 실질적으로 이 퍼널 AI 에이전트라는 영역에서 서비스를 만들면서 아 우리가 사용자의 의도가

생각보다 되게 불분명하게 입력되는 그 나라인지를 저희가 좀 인지를 했고 이걸이 그래서 그 문제를 해결하지

않으면 아 정말 좋은 답변을 줄 수 없겠구나라는게 이제 사실 저희가 첫 번째로 마주한 문제였습니다. 앞서 서비스를 보셨지만

그래서 어 저희 서비스 같은 경우에는 굉장히 어 적으로 조금 다른 접근을 가져가는 걸로 했습니다. 저는

개인적으로 충청도 출신인데요. 그래서 뭐 그 고맥락 대화를 굉장히 좋아하고 저도 이제 사 그 대화의 문맥을

파악을 해서 답변하는게 굉장히 좋은 제주라고 생각을 하긴 하지만 사실은 직접적으로 물어보는게 가장 좋은

방법이죠. 그래서 저희는 서비스를 디자인하고 모델을 만들면서 굉장히 답변의 호흡을 처음에는 조금 짧게

가져가 봤습니다 그런데 이제 저희가 이런 접근법을 취한 이유는 두 가지가 있습니다 하나는 사용자가 입력 자체를

굉장히 모호하게 하기도 하지만 또 한편으로 저희 생각으로는 사용자가 본인 스스로도 원하는 게 모르는 경우도

있다고 생각을 했습니다 굉장히 모호한 경우에서 출발하는 거죠 대표적으로 아이 이번 주말에 뭐 좀 해야 되지

않을까 뭐 이런 경우들이 있겠죠 그래서 저희는 이 사용자가 어떤 요청을 했을 때 AI 굉장히 짧게 대답을 해주고 대신에

계속 질문을 맥락에 맞고 굉장히 그 시점에서 유효한 질문을 던지면서 아 사용자가 결국에는 이러한 것들을

원하고 있고 이러한 것들을 달성하고자 하는구나라고 이렇게 호흡을 주고받는 마치 유저와 AI 에이전트가 굉장히

긴밀하게 특히 탁월하면서 상호작용을 통해서 문제를 해결해 나가는 그런 시스템을 좀 구현을

했습니다 예를 들어 보시죠 아까처럼 모니터에로 가면 저희 에스터는 이렇게 답변을 합니다 아 일단 모니터가

고장이 났군요 그렇다면 원하시는 게 뭘까요 뭐 일반적으로 우리가 해결할 수 있는 여러 가지 접근법이 있겠죠

고장을 진단하는 거에 대해서 가이드를 좀 줄 수도 있을 거고요 아니면 바로 모니터에 수리를 위한 예약을 도와줄

수도 있을 것이고 아니면 구매에 대한 추천을 해 줄 수도 있을 것이죠 그러면 이 경우에는 굉장히 사용자는

빠르게 본인의 의도를 조금 더더 명확히 드러낼 수 있게 됩니다 그러면 면 저희 시스템은 아 모니터를 구매를

하시려면 또 결정해야 되는 게 있겠죠 뭐 예산이라 용도라든가 뭐 모니터 크기라던가 이런 것들을 빠르게 물어서

사용자가 아 대체 모니터를 구매해 가는 그 과정까지를 굉장히 빠른 패스로 갈 수 있게 돕는 시스템으로

저희가 이제 구성을 했고요 이 과정에서 결국 사용자의 의도를 명확하게 이해하고 그 길을 좁혀 주는 것

이것이 제가 굉장히 중요하다고 생각을 했습니다 조금 기술적인 뒷 얘긴데요 음 이러다

보니까 저희가 이제 사실은 그 사용자와의 한 대화에서 우리의 그 전통적인 대화 시스템은 결국 대화는 선형적으로 계속

증가합니다 앞에서 했던 얘기가 뒤에서 이어지고 뭐 우리 소위 멀티턴 대화라고 얘기하는 것들이 그런 거죠

그래서 그런데 뭐 이제 여러 가지 특성이 잘 알려진 부분이 있습니다만은 일반적으로 이 말 끝에 그니까 대화의

끝에 붙 주는 것이 여러 가지 장점이 있습니다 일단 비용적인 장점도 분명히 있고요 그다음에 속도적인 장점도 있고

그리고 사실은 이제 성능적인 뭐 품질적인 관점에서도 뭐 때로는 우수한 경우들이 있죠 그런데 음 저희 같은

경우는 이 대화의 턴을 굉장히 짧게 가져가면서도 중간중간 AI 물어보기도 하면서도 여러 가지 이제 소위 말하는

에이전트가 리드하는 시스템을 많이 만들다 보니 이러한 것들이 반복되는 것이 아 답변의 품질에서 굉장히 좋지

않다라는 걸 저희가 좀 알았었습니다 그래서 저희가 여러 가지 테스트를 해보면 결국엔 네 요렇게 프롬프트를

하는 방식을 좀 바꾸기만 하도 아 품질이 굉장히 괜찮아지는 그나 올라가는구나 이제 이런 저희가

인사이트를 좀 얻을 수 있었고요 이렇게 하는 경우에 저희가 비용이라든지 속도 관점에서는 다소간의 손해를 보지만 아 그래도

이제 이 메시지 스트럭처를 보시면 결국에는 사용자 입장에서는 AI가 툭툭 던져주는 질문에 AI 질문을 하고

사용자가 답을 하고 질문하고 답을 하고 이 과정이 쭉 이어지고 그에 따라서 만들어지는 의도라 이런 것들은

위에 위치하게 되니까 굉장히 일관된 품질을 안정적으로 제공할 수 있더라라는 것도 저희가 한번 확인할

수 있었고요 음 그리고 또 이게 저희가 대화 내에서 결국엔 보면 한 대화가 계속 이어지는 것처럼 보이지만 사실 에스터는 그 안에서

굉장히 다양한 태스크를 수행합니다. 사용자의 의도도 이해해야 될 거고요. 그다음에 사용자에게 적절한 질문을

던지기 위한 고민도 해야 할 거고요. 또 사용자의 다음 대화 토픽을 제한을 하기도 해야 될 거고 투두 목록을

만들어 주기도 해야 될 거고 굉장히 다양한 대화를 한 문맥 속에서 대화 한 문맥의 대화 속에서도 굉장히

다양한 기능을 수행을 하고 있습니다. 그래서 저희는 이 기능들을 또 내부적으로는 굉장히 여러 에이전트로

쪼개서 나누어서 수행하게 함으로써 품질을 올렸고요. 그러나 이제 이 품질을 올리는 과정에서도 문맥이 끊어지지

않고 일관성이 떨어지지 않게 유지를 하기 위해서 프롬프트 전략을 그림에 보시는 것처럼 다양한 전략을 경우에

맞춰서 사용을 했었어야 했습니다. 앞서 말씀드렸지만 결국 AI 서비스는 끝없는 반복이죠. 저희가

서비스를 사용자에게 제공하고 사용자들이 어떻게 사용하는지 저희가 확인하고 개선하고 다시 또 확인하고 개선하고 이 과정의 반복인 거 같습니다.

그래서 저희 에스터 또한 이 과정을 어떻게 하면 좀 더 더 잘 수행할 수 있을까에 대한 고민을 하고 있고요. 어

굉장히 오토매틱하게 일종에 거의 룰에 가깝게 수행하고 있는 영역에서부터 실제로 미국에서 저희가 사람들을

PAA: 기술적 도전과 우리의 혁신 | SK텔레콤, Global AI Platform Co. 정민영

2023년, SK의 AI 기술은 어떤 미래를 그리고 있을까요?
최고의 기술 기업과 전문가들이 경험과 노하우를 나누는 자리에 여러분을 초대합니다.
