네, 안녕하세요. 오늘 그 PAA 세션 부작의 마지막입니다. 앞에 이제 저희 그 정석근 부사장님 오전 발표에 이어서 좀 전에 저희 시에라가 AI 관점으로 좀 소개를 해 드렸고요.

저는 이제 마지막으로 저희의 이제 전반적인 기술적인 내용이나 그다음에 저희가 또 어떤 부분들에서 어떤 노력들을 조금 더 더 비하인드 신에서 했었는지 좀 소개해 드리려고 나왔습니다.

저는 이제 제 발표가 이왕이면 유용했으면 좋겠고 또 유용한 거보다 이왕이면 재밌었으면 좋겠다라는 생각을 하는데요.

예, 요건 제 사진인데 민망하니까 넘어가고요.

어, 안 넘어가네요. 네네, 민망하다고 생각하니까네.

아, 그 ChatGPT 시작으로 저희가 벌써 클로드, 제미나이 여러 서비스들이 있어 왔고 사실 저를 포함해 굉장히 많은 분들이 이미 그 서비스들을 너무 잘 활용을 하고 계시죠.

저 저만 해도 오늘도 벌써 몇 번을 사용을 했고 제 주변에도 보면 대부분의 사람들이 사용을 하는 거 같습니다.

그런데 여전히 저는 사실은 약간의 좀 간극을 느낍니다.

어떤 간극을 느끼냐는 우리의 이제 실질적인 삶의 여러 가지 문제들, 꼭 생산적인 활동이나 정보를 찾는 거라든가 그런 것 외에도 실질적인 활동들에 대해서 어떤 문제들을 해결해 주려면 저희 오전 세션들 혹은 방금 세션에서 계속 얘기 됐었던 거 같은 여러 가지 간격들을 좀 느끼고요.

그러니 지금 우리에 있는 AI 서비스들이 그러한 우리의 좀 실질적인 문제들에 다가가기 위해서는 일종의 어떤 프레임워크가 필요하지 않은가 이런 생각을 저희가 많이 했습니다.

핵심적인 질문은 이거죠. 우리의 하루하루의 삶에 있는 문제들에 AI 어떻게 도움을 줄 수 있을 것인가가 저희의 큰 고민이었고, 그 고민에 대한 해답을 찾는 여정이 오늘 소개해 드리는 에스터가 되겠습니다.

이미 그 AI 잘 활용하시는 분들을 저희가 보면, 어 AI를 통해서 다양한 아이디어를 획득하시거나 생각을 정리하시기도 하고 또 계획을 짜기도 하시죠.

그런데 이분들이 하고 계시는 걸 저희가 좀 구조적으로 이렇게 관찰을 해 보면 첫 번째로는 일단 AI를 통해서 아이디어들을 좀 모으시고, 예를 들면 원하는 프롬프트를 하셔서 이런 것들에 대해서 쭉 한번 초안을 받아 보시죠.

그리고 그거에 대해서 생각을 하고 또 개별적으로 이제 약간 태스크 목록이나 가이드를 받아보면 그거에 대해서 또 약간 딥 다이브해서 파악을 하기도 하고 하죠.

그리고 마지막으로는 이렇게 정리를 해서 실제로 이제 액션하고 결과에서 좋은 결과로 끌고 나가는 이 과정을 저희가 좀 살펴볼 수 있었고요.

저희가 이걸 구조적으로 만들 수 있으면 어떨까?

그렇다면 AI를 잘 사용하는 사람이든 잘 활용하지 못하는 사람이든 굉장히 높은 가능성을 가져갈 수 있지 않을까 이런 생각을 했고요.

결국 우리 AI가 우리 일상적인 문제 해결에 실질적으로 기여하기 위한 구조를 저희는 한번 이렇게 정리를 해 봤습니다.

이게 이제 앞서 특히 저희 시에라가 보여주셨던 상에 나왔던 여러 가지 요소들을 좀 포함을 하고 있는데요.

첫 번째로는 사용자의 의도를 명확하게 정리를 해 줘야겠죠.

그래서 뭐 뒤에서 제가 조금 더 자세히 말씀을 드리겠습니다.

그리고 또 사용자의 의도가 명확해졌다면 그것들을 하기 위해서 필요한 항목들을 저희가 좀 더 디벨롭을 해 줘야 할 것이고요.

그리고 그런 것들이 좀 디벨롭 되고 나면 실제로 그 문제를 수행을 하기 위해서, 뭐 예를 들면 아까 보셨던 택시를 호출한다거나 식당을 예약을 한다거나 그런 액션들을 AI가 대신 해주거나 혹은 AI가 나를 좀 도와주거나 이런 것들이 저희가 가능하다면 아 이게 정말 진정한 퍼스널 AI 에이전트가 아닐까라고 저희가 좀 정리를 해 보았고요.

오늘 저는 그 이 구조에 대해서 저희가 어떤 기술적인 챌린지가 있었고 또 어떤 고민들을 했었는지를 조금 더 상세하게 말씀드릴 예정입니다.

음, 좀 정리해 보면 이렇게 됩니다. 앞서 말씀드린 구조를 저희가 좀 구현을 하기 위해서 음, 기술적으로 여러 가지 요소들을 좀 고민을 하여야 했는데요.

여기 그림에 보시면 저희가 뭐 프라이머리 에이전트라는 것도 있고요.

그다음에 또 서브 에이전트라는 것들이 있고 이를 위해서 저희가 사용자의 뭐 컨텍스트라고 부르는 것들에 대해서 명확하게 해 주기 위한 관련 기술들, 또 에이전트들끼리 또 서로 상호 작용해야 하는 것들, 또 그리고 무엇보다 이 과정 전반에서 우리가 개개인들에게 만족도 높은 서비스를 제공하기 위해서 활용해야 되는 개인 정보들을 또 어떻게 안전하게 다룰 것인가 이런 부분들이 있고요.

또 잘 아시는 것처럼 최근에 AI 서비스는 결국엔 저희는 비용과의 싸움이라고 생각을 합니다.

고객들에게 더 좋은 서비스를 제공하고 더 풍부한 영역에서 AI가 기능하기 위해서는 저희는 이제 비용이라는 굉장히 큰 도전에 직면해 있고요.

이런 비용을 또 어떻게 다룰 수 있을 것인지, 그를 위해서 저희가 어떤 접근법을 가져가고 있는지 이런 부분들도 한번 말씀을 드려 보고 싶습니다.

오늘 이렇게 소개드리는 내용이 저희 서비스의 뭐 부분만을 보여 드리고 부분만을 소개해 드리는 거겠지만 저희가 지금 또 지금까지 개발해 오면서 굉장히 중요하게 고민해 왔었던 부분들을 말씀드리고 싶습니다.

사실 어 이건 제가 좀 좋아하는 말이라서 한번 공유하고 싶어서 슬라이드처럼 넣어봤는데요.

결국 AI 서비스 개발의 본질 또한 뭐 여느 서비스의 개발과 다르지 않다고 생각됩니다.

끊임없이 문제를 이해하고 기술을 개발하고 검증하고 또 보완해 가면서 반복적으로 이 완결적인 문제 해결을 통해서 저희가 결국에는 사용자들에게, 저희의 고객들에게 더 높고 좋은 경험을 제공해 드리는 것이 저희의 본질이라고 생각하고요.

이 뒤에 제가 기술적으로 여러 가지 관점에서 저희의 내용들을 소개를 해 드릴 텐데 아, 이러한 반복적인 과정에 있는 것이구나라는 생각하고 봐 주시면 좋을 것 같습니다.

의도에 대해서 얘기를 좀 한번 해보겠습니다. 음, 이게 사실 저만 그런지는 모르겠지만 사실은 우리는 뭐 심지어는 검색을 할 때도 우리의 의도를 구체적으로 표현하지 않는 경우들이 있는 거 같고 일상적인 여러 의사 결정에서도 그런 경우들이 많은 거 같습니다.

예를 들면 모니터가 고장 났다고 AI에 말을 했을 때 사실 이 사용자가 뭘 기대하고 있을까요?

뭐 저는 그런 사람은 아니지만 어떤 누군가는 공감을 받고 싶을 수도 있을 거고요.

또 어떤 누군가는 모니터가 고장 났으니까 내가 뭘 해야 되지? 뭘 수리를 해야 되지?

수리하려면 어떻게 해야 하지? 이런 방법이도 궁금할 수도 있을 거고요.

또 어떤 사용자는 아니면 그냥 '나 새로 구매하고 싶어.

그러니까 빨리 나에게 모니터를 추천해 줘' 이런 이야기를 할 수도 있겠죠. 그래서 저희가 실질적으로 이 퍼스널 AI 에이전트라는 영역에서 서비스를 만들면서 '아, 우리가 사용자의 의도가 생각보다 되게 불분명하게 입력되는 구나'라는 걸 저희가 좀 인지를 했고 이걸 이 그래서 그 문제를 해결하지 않으면 아 정말 좋은 답변을 줄 수 없겠구나라는 게 이제 사실 저희가 첫 번째로 마주한 문제였습니다.

앞서 서비스를 보셨지만 그래서 어 저희 서비스 같은 경우에는 굉장히 어, 적으로 조금 다른 접근을 가져가는 걸로 했습니다.

저는 개인적으로 충청도 출신인데요.

그래서 뭐 그 고맥락 대화를 굉장히 좋아하고 저도 이제 사 그 대화의 문맥을 파악을 해서 답변하는 게 굉장히 좋은 재주라고 생각을 하긴 하지만 사실은 직접적으로 물어보는 게 가장 좋은 방법이죠.

그래서 저희는 서비스를 디자인하고 모델을 만들면서 굉장히 답변의 호흡을 처음에는 조금 짧게 가져가 봤습니다.

그런데 이제 저희가 이런 접근법을 취한 이유는 두 가지가 있습니다.

하나는 사용자가 입력 자체를 굉장히 모호하게 하기도 하지만 또 한편으로 저희 생각으로는 사용자가 본인 스스로도 원하는 게 모르는 경우도 있다고 생각을 했습니다.

굉장히 모호한 경우에서 출발하는 거죠.

대표적으로 '아이, 이번 주말에 뭐 좀 해야 되지 않을까?

' 뭐 이런 경우들이 있겠죠. 그래서 저희는 사용자가 어떤 요청을 했을 때 AI가 굉장히 짧게 대답을 해주고 대신에 계속 질문을 맥락에 맞고 굉장히 그 시점에서 유효한 질문을 던지면서 '아, 사용자가 결국에는 이러한 것들을 원하고 있고 이러한 것들을 달성하고자 하는구나'라고 이렇게 호흡을 주고받는 마치 유저와 AI 에이전트가 굉장히 긴밀하게 티키타카 하면서 상호작용을 통해서 문제를 해결해 나가는 그런 시스템을 좀 구현을 했습니다.

예를 들어 보시죠. 아까처럼 모니터에 에러가 나면 저희 에이전트는 이렇게 답변을 합니다.

아, 일단 모니터가 고장이 났군요. 그렇다면 원하시는 게 뭘까요?

뭐 일반적으로 우리가 해결할 수 있는 여러 가지 접근법이 있겠죠.

고장을 진단하는 거에 대해서 가이드를 좀 줄 수도 있을 거고요. 아니면 바로 모니터 수리를 위한 예약을 도와줄 수도 있을 것이고, 아니면 구매에 대한 추천을 해 줄 수도 있을 것이죠.

그러면 이 경우에는 굉장히 사용자는 빠르게 본인의 의도를 조금 더 명확히 드러낼 수 있게 됩니다.

그러면 저희 시스템은 아, 모니터를 구매를 하시려면 또 결정해야 되는 게 있겠죠.

뭐 예산이라든가 용도라든가 뭐 모니터 크기라든가 이런 것들을 빠르게 물어서 사용자가 아, 대체 모니터 구매에 가는 그 과정까지를 굉장히 빠른 패스로 갈 수 있게 돕는 시스템으로 저희가 이제 구성을 했고요.

이 과정에서 결국 사용자의 의도를 명확하게 이해하고 그 길을 좁혀 주는 것 이것이 제가 굉장히 중요하다고 생각을 했습니다.

조금 기술적인 뒷단 얘긴데요. 음, 이러다 보니까 저희가 이제 사실은 그 이 사용자와의 한 대화에서 우리의 그 전통적인 대화 시스템은 결국 대화는 선형적으로 계속 증가합니다.

앞에서 했던 얘기가 뒤에서 이어지고 뭐 우리 소위 멀티턴 대화라고 얘기하는 것들이 그런 거죠.

그래서 그런데 뭐 이제 여러 가지 특성이 잘 알려진 부분이 있습니다만은 일반적으로 이 말 끝에, 그니까 대화의 끝에 붙여 주는 것이 여러 가지 장점이 있습니다.

일단 비용적인 장점도 분명히 있고요. 그다음에 속도적인 장점도 있고, 그리고 사실은 이제 성능적인 뭐 품질적인 관점에서도 뭐 때로는 우수한 경우들이 있죠.

그런데 음, 저희 같은 경우는 이 대화의 턴을 굉장히 짧게 가져가면서도 중간중간 AI에 물어보기도 하면서도 여러 가지 이제 소위 말하는 에이전트가 리드하는 시스템을 많이 만들다 보니 이러한 것들이 반복되는 것이 답변의 품질에서 굉장히 좋지 않다라는 걸 저희가 좀 알았었습니다.

그래서 저희가 여러 가지 테스트를 해보면 결국엔 네, 요렇게 프롬프트를 하는 방식을 좀 바꾸기만 해도 아 품질이 굉장히 괜찮아지는구나, 올라가는구나, 이제 이런 저희가 인사이트를 좀 얻을 수 있었고요.

이렇게 하는 경우에 저희가 비용이라든지 속도 관점에서는 다소간의 손해를 보지만 아 그래도 이제 이 메시지 스트럭처를 보시면 결국에는 사용자 입장에서는 AI 툭툭 던져주는 질문에 AI 질문을 하고 사용자가 답을 하고, 질문하고 답을 하고 이 과정이 쭉 이어지고 그에 따라서 만들어지는 의도라 이런 것들은 위에 위치하게 되니까 굉장히 일관된 품질을 안정적으로 제공할 수 있더라라는 것도 저희가 한번 확인할 수 있었고요.

음, 그리고 또 이게 저희가 대화 내에서 결국엔 보면 한 대화가 계속 이어지는 것처럼 보이지만 사실 에이전트는 그 안에서 굉장히 다양한 태스크를 수행합니다.

사용자의 의도도 이해해야 될 거고요. 그다음에 사용자에게 적절한 질문을 던지기 위한 고민도 해야 할 거고요.

또 사용자의 다음 대화 토픽을 제한하기도 해야 될 거고, 투두 목록을 만들어 주기도 해야 될 거고, 굉장히 다양한 대화를 한 문맥 속에서, 대화 한 문맥의 대화 속에서도 굉장히 다양한 기능을 수행을 하고 있습니다.

그래서 저희는 이 기능들을 또 내부적으로는 굉장히 여러 에이전트로 쪼개서 나누어서 수행하게 함으로써 품질 을 올렸고요.

그러나 이제 이 품질을 올리는 과정에서도 문맥이 끊어지지 않고 일관성이 떨어지지 않게 유지를 하기 위해서 프롬프트 전략을 그림에 보시는 것처럼 다양한 전략을 경우에 맞추어서 사용을 했었어야 했습니다.

앞서 말씀드렸지만 결국 AI 서비스는 끝없는 반복이죠. 저희가 서비스를 사용자에게 제공하고 사용자들이 어떻게 사용하는지 저희가 확인하고 개선하고 다시 또 확인하고 개선하고 이 과정의 반복인 거 같습니다.

그래서 저희 SKT 또한 이 과정을 어떻게 하면 좀 더 더 잘 수행할 수 있을까에 대한 고민을 하고 있고요.

어, 굉장히 오토매틱하게 일종에 거의 룰에 가깝게 수행하고 있는 영역에서부터 실제로 미국에서 저희가 사람들을 고용을 해서 실제로 소위 말하는 휴먼 어노테이터 평가를 하는 것까지 복합적으로 저희가 모두 사용을 하고 있고요.

다만 이제 저희가 여기에서 최근에 좀 주력을 하고 있는 부분은 LM을 이용해서 최대한 한번 자동화되는 영역을 넓히는 방법을 좀 고민을 해보고 있습니다.

그래서 LM이 그 대화의 전반적인 품질을 평가하거나 어, 시스템이 정확히 응답을 했었는지 혹은 응답을 하지 못했었는지 이런 것들을 판단하는 LM을 활용하는 영역을 좀 넓혀 보고 있고요.

이러한 과정들에 있어서 저희가 단계적인 전략을 취하고 있습니다. 잘 아시는 것처럼 저희 SK텔레콤은 굉장히 많은 LLM 파트너들과 협력을 하고 있고요.

많은 분들이 사실 질문하십니다. 왜 그렇게 다양한 모델을 사용하고 다양한 파트너들과 협력을 하고 있는가라고 보면 저희는 결국 이것이 한 가지, 하나의 모델로 하나의 서비스를 만들 수 있을 거라고 생각하지는 않고요.

저희는 저희가 그 이 비하인드 씬에서 돌아가고 있는 굉장히 다양한 태스크들이 있어서 굉장히 다양한 모델을 다양한 전략으로 활용을 하고 있습니다.

어떤 모델은 저희가 프롬프트를 열심히 해서 예를 들면 가장 최적의 프롬프트를 찾아내서 활용을 하기도 하고요.

또 어떤 경우는 아주 다이내믹하게 프롬프트를 구성을 하기도 합니다.

대화의 흐름이라든가 사용자 정보라든가 이런 것들을 모아서 굉장히 다양하게 프롬프트를 구성을 해서 품질을 올리기도 하고요.

이를 위한 데이터베이스를 또 구축을 하고 있기도 합니다.

또 한편으로는 파인튜닝도 수행을 합니다.

그래서 파인 튜닝을 통해서 품질과 비용의 균형을 잡고 있기도 하고요.

이처럼 저희는 굉장히 다양한 전략을 활용하고 있습니다.

여러 모델들에 대해서요. 비용 얘기입니다. 아, 비용이 사실 굉장히 어려운 부분이죠.

결국 AI 서비스는 비용을 통제해야 점점 더 많은 영역에서 혁신할 수 있다고 저는 믿습니다.

그래서 저희도 비용을 컨트롤하면서도 굉장히 많은 영역에서 LLM을 활용할 수 있게 하기 위해서 노력을 하고 있고요.

음, 그를 위해서 스마트 라우팅이나 아니면 아까 설명드렸던 LLM 평가 기술이나 굉장히 다양한 기술들을 활용을 하고 있고요.

여기서 소개해 드리고 싶었던 사실 가장 기본적인 아이디어는 모든 문제에 동일한 비싼 모델을 활용할 필요는 없다는 것입니다.

저희가 굉장히 특수한 목적에 특수한 맞는 모델을 사용을 하기도 하고요.

또 아주 큰 모델을 활용을 하기도 하고요.

저희가 이제 이런 그 적절한 용도의 적절한 모델을 적절하게 선택하는 이 '삼 적절'을 구성하는 게 저희가 얘기하는 스마트 라우팅이 되겠습니다.

사실 뭐 너무들 잘 아시는 얘기일 것 같습니다. 모델은 결국 비용이 저렴해지면서 성능이 올라가고 있거나 비용이 굉장히 비싸지면서 성능이 아주 좋아지거나 이 두 가지 길을 가고 있고요.

저희도 또한 이러한 흐름에 맞추어서 가장 최적의 모델을 사용할 수 있는 기술을 플랫폼을 개발을 하고 있습니다.

그래서 작년에는 제가 아마 요 비슷한 자리에서 인텔리전스 플랫폼이라는 걸 소개해 드린 적이 있는데요.

저희의 인텔리전스 플랫폼은 결국엔 요러한 기능들을 돕고 있습니다.

기술적으로 마지막 내용입니다.

PAA: 기술적 도전과 우리의 혁신 | SK텔레콤, Global AI Platform Co. 정민영

2023년, SK의 AI 기술은 어떤 미래를 그리고 있을까요?
최고의 기술 기업과 전문가들이 경험과 노하우를 나누는 자리에 여러분을 초대합니다.


PAA: 기술적 도전과 우리의 혁신 | SK텔레콤, Global AI Platform Co. 정민영

PAA: 기술적 도전과 우리의 혁신 | SK텔레콤, Global AI Platform Co. 정민영

Scripts