이제 AI 어시스턴트 역할을 진짜로 할 수 있는 앱이 나올 수 있다.

ISS 지금 어디 있어라고 하니까 어, 저기에 바로 있다라면서 실시간 정보를 받아 갖고 저렇게 비주얼라이즈 해 준다.

실시간으로 막 주식 정보 있잖아요.

뭐 주식 지금 어떻게 되느니 이런 것들도 주가 데이터를 막 API 운동해 가지고 여러분 반갑습니다.

안될공학 에러입니다. 오픈 AI ES 개발자 컨퍼런스 그러니까 데브데이 2014를 시작을 했는데요.

첫날부터 엄청난 발표를 많이 해서 아, 또 이렇게 세상이 한번 바뀌겠나고 해서 빠르게 한번 정리를 해 보고 그냥 기술만 소개해 드리는 것이 아니라 이런 기술들이 어디에 적용될 수 있는지 그리고 우리가 실제로 어떠한 삶을 살아가게 될 것인지까지 단순히 기술에 관심이 있으신 분들 뿐만이 아니라 대부분의 사람들께서 궁금하신 부분들 한번 정리를 해 보고요.

앞으로 AI ES 화두가 될 부분까지 한번 검토해 보도록 하겠습니다.

발표할 내용을 크게 나누어서 총 다섯 가지로 정리를 할 수가 있는데요.

가장 눈에 띄는 것이 바로 실시간 음성 대화를 하는 것을 API Pro 구현을 했다는 것입니다.

근데 이게 그냥 음성으로 API를 썼네 보다 훨씬 더 대단한 것이 바로 여기 보이시는 이 리얼타임, 실시간이라는요 부분이거든요.

이 실시간이라고 하는 게 왜 중요하냐, 그리고 이게 기술적으로 뭔가 개선된 부분이 있었기 때문에 그 부분을 좀 볼 필요가 있습니다.

기존의 GPT 사용해 가지고 이 음성 기반으로 AI 대화를 구현을 하려고 하면은 한계가 있었어요.

왜냐, 이게 세 가지 단계를 거치거나 첫 번째는 위스퍼 아시죠?

위스퍼로 일단 우리가 말하는 거를 음성으로 인식을 하고요.

그걸 인식한 다음에 GPT 4로 돌려보는 거예요.

텍스트 생성해 가지고 얘가 뭐라고 얘기했는지를 받아들여서 그 텍스트를 해석을 하는 과정이 거치겠습니다.

그런 다음에 다시 TTS Pro 텍스트 텍스트 투 스피치로 음성으로 변환해 갖고 내보내는 보내를 썼어야 했습니다.

그러니까 여러 모델들 음성을 인식하는 위스퍼 그리고 GPT 4로 해석을 하고 거기에 대한 답을 다시 텍스트에서 스피치로 바꿔 주는 이 세 단계를 연결을 해서 해야 되기 때문에 이 세 가지 모델을 다 해야 된다는 거 자체가 시간을 굉장히 많이 소모를 하는 일이죠.

그리고 오픈 AI 측에서 얘기를 하는 것이 중요한 정보들이 이런 모델을 거치면 거칠수록 좀 빠지게 됐다라고 얘기를 하는데 그 첫 번째 요소가 일단 우리가 얘기하는 감정적인 요소 있잖아요.

흥분을 했다거나 화를 내거나 아니면 기분이 좋다거나 이러한 것들, 이러한 감정 표현이 세계를 거치면서 좀 이제 사라지는 그런 문제가 있었고요.

그리고 이제 억양이 그가 어떤 인토네이션을 파악을 하면서 이 사람이 뭘 강조를 하고 있는지 영어도 그렇고 우리나라 말도 그렇고 어떤 걸 강조하나 따라서 그 특정 단어를 이게 크게 얘기한다거나 아니면은 피치를 높여서 얘기한다거나 이런 얘기들이 있잖아요.

이런 것들에 대한 정보, 이런 리듬 같은 것들이 다 사라져 버렸다는 문제가 생겼다는 거죠.

근데 어쨌든 간에 리얼 타임을 강조를 했다는 거는 ASR, DPT, 리즈닝 그리고 마지막 TTS, 이 세 단계에 거쳐서 각각의 레이턴시가 발생하는데 이걸 다 합쳐 버렸기 때문에 처리 시간이 그만큼 적게 된다는 게 핵심입니다.

지금 보시는 영상은 이 오디오를 통해 가지고 실제로 실시간으로 대화를 하면서 내가 지금 샌프란시스코에 위치했나, 이 뭐니, 이렇게 얘기를 하면서 여기에 대한 얘기들을 계속 인지를 하고 대답하는 걸 데모로 보여준 건데요.

그러다가 자, 토론토의 날씨를 이제 물어봤거든요.

그러니까 알아서 인지를 해 가지고 저렇게 맵이 싹 바뀌면서 토론토의 날씨에 대해서 얘기를 해 줍니다.

소켓을 연결을 했다라고 표현을 하고 있는데 이게 뭐냐, 기존에 HTTP 방식으로 하면은 뭔가 요청을 하면은 그 요청에 대해서 그때 딱 연결을 해 가지고 그 연결한 상태에서 뭔가 또 대답하고 그다음에 또 이제 멈추고 다시 요청하면 또 다시 연결하고 이런 식으로 하기 때문에 지연 시간이 발생할 수밖에 없어요.

근데 이 웹소켓을 연결했다는 것이 이 클라이언트와 서버 그러니까 우리 뭐 스마트폰과 저기 서버, GPT 서버도 마이크로소프트 저와의 서버의 실시간으로 딱 양방향으로 계속해서 통신을 할 수 있도록 연결을 해 놨다는 겁니다.

그래서 한번 연결되면 계속 연결 상태를 유지하니 마치 우리가 계속 전화 하듯이 연결하니까 레이턴시도 확 줄일 수가 있고요.

이번이 리얼타임 API 하는 API 하는게 뭡니까?

결국은 뭐구나, 이거 API 가져와 가지고 이렇게 실시간 얘기할 수 있는 걸로 개발자들이 앱을 다 만들 수가 있다는 거예요.

아이폰에서도 갤럭시에서도 이런 앱들을 마구마구 만들어 낼 수 있을 만한 준비를 했다는 거죠.

아무래도 레이턴시가 이렇게 줄여 가지고 사용성이 확대가 되면은 훨씬 더 고급스럽게 많이 활용할 수 있을 여지가 있고요.

이거 같은 경우도 실시간으로 음성을 인지를 하는데 카페를 데모하는 거거든요.

아, 스페인어가 저렇게 음성으로 바로 인지를 해 가지고 하는 이런 식으로 주문을 할 수도 있겠죠.

그리고 딸기를 실제로 라이브 데모를 하는데 주문을 하는 모습을 시연을 했거든요.

지금 보시면은 저렇게 사람이 하면서 있어요.

저기에 실제로 전화를 건 거예요.

그래가지고 AI 어시스턴트인데 뭐 이것저것 물어보죠. 피버 이렇게 있다고 하고 저런 식으로 계속 물어보는 거예요.

OpenAI API 사용하면은 이 음성을 갖고 오면은 실시간으로 딱 소켓으로 연결돼 가지고 계속 연결돼 있으니까 이전에 있는 대학들을 계속 기억하면서 할 수 있는 애플리케이션들을 만들 수 있다라는 거죠.

이런 거 보면은 이제 실시간으로 고객 지원 있잖아요. 뭐 서포트, 뭐 AS든가 이런 것들 그런 것들 그냥 실시간으로 이제 음성으로 할 수가 있겠죠.

예전에 우리가 ARS로 이렇게 전화를 하면은 뭐 버튼 누르고 했는데 요즘은 뭐 보이는 ARS도 하고 아니면 음성으로 인식을 하잖아요.

실제로 그렇게 삶이 바뀌잖아요. 그런 것처럼 이제 AI가 직접 우리의 이야기를 듣고 할 수 있는 그런 API 활용한 애플리케이션들이 나올 수 있다.

정말 놀랍죠. 이것뿐만 아니겠습니까? 이제 1세대 AI 비서들 뿐만이 아니라 자동차 내에 음성 비서를 통해 가지고 뭐 경로를 안내한다거나 아니면은 뭐 음악을 튼다거나 뭐 교통 상황 같은 거를 실질적으로 바로 알림을 줄 수도 있을 거고 이런 걸 이용하면 이제 비전 프로라든가 아니면 메타의 글래스 같은 것들 요런 것들도 음성을 통해서 바로 음성 인터페이스를 활용할 수 있도록 지원을 해 줄 수가 있는 세상에 온다는 거죠.

그러니까 AR, VR 포함해서 일상에 있던 굉장히 많은 서비스들이 이러한 것들로 대체가 될 가능성이 높아졌다고 이해를 하시면 되겠습니다.

거기다가 또 제가 인상 깊게 본 것은 바로 이 펑션 콜링이 이걸 지원을 한다는 건데요.

이게 사용자가 요청을 하는 게 있으면은 그걸 받아 와 가지고 직접 펑션을 만들어 가지고 어떤 데이터를 수집해서 할 수 있는 거를 시현을 해 보였습니다.

자, 지금 보시는 거는 이제 시각적으로 지금 뭐 화성의 어떤 모습들이라든가 정보를 보여주는 그런 것인데 오디오를 통해서 즉각적으로 반응을 하거든요.

그러다가 사용자가 지금 ISS, 그러니까 국제 우주 정거장이 어디 있냐라고 물어보니까 이 질문을 분석해 가지고 함수 호출을 생성한다는 거죠.

실제로 음성으로 인터랙션을 하면서 이 함수가 외부 API, 지금 국제 우주 정거장이 어디에 있는지 실시간 위치 정보를 가져와 오는 기능으로 바로 연결을 해주고 그걸 갖고 오니까 이걸 비주얼라이즈 할 수 있으니까 자, 지구가 어디 있는지 이렇게 얘기를 한 다음에, 자, 지구로 찾아가죠.

그런 다음에 ISS 지금 어디 있어라고 하니까, 아, 저기에 바로 있다라면서 실시간 정보를 받아 갖고 저렇게 비주얼라이즈 해 준다.

이것도 진짜 지금 실시간 정보를 알아서 펑션 콜링을 해서 가져올 수 있으니까 상당히 많은 앱들과 연결을 해 가지고 굉장히 무궁무진한 앱들이 등장할 것 같지 않습니까?

우리가 GPS 기능을 사용하면서 내비게이션을 쓰고 또 구글 맵이라 뭐 네이버 지도, 카카오 맵 이런 것들 다양한 것들을 활용할 수 있었잖아요.

그럼 면서 카카오 택시도 부를 수 있게 되고 뭐 그것만으로도 엄청나게 많은 것들이 됐는데, 이런 것들을 순식간에 AI 연동할 수 있는 펑션을 콜링 할 수 있는, 즉 사용자가 말하는 것을 바로 해석해서 할 수 있는 거를 지원한다고 하니까 정말 어떤 앱들이 나올까 지금 벌써부터 기대가 되는 부분이 있겠습니다.

그래서 단순히 텍스트 대화에서 나아가서 실제 데이터와 연동해 시각적으로 표현한다는 의미에서 굉장히 놀라운 부분들이라 거죠.

그러면 이제 실시간으로 막 주식 정보 있잖아요. 뭐 주식 지금 어떻게 되느니 이런 것들도 주가 데이터를 막 API 연동해 가지고 야, 지금 네 포트폴리오가 현재 상황에서 얼마나 괜찮냐, 실시간으로 이런 정보들이 바뀌고 또 요즘 뭐 전쟁 때문에 뭐 주가가 떨어지고 다시 올라갔다가 뭐 미국 대선이 있어 가지고 이러한 정보들이 실시간으로 발현된 거를 가지고 와서 하는 어떤 금융 서비스를 내세울 수도 있을 거고요.

뭐 헬스케어 같은 거 우리 실시간 몸에 있는 정보들도 가져 와 가지고 할 수도 있고 뭐 스마트 가정 관리 같은 것도 훨씬 더 자연스럽게 될 수가 있겠죠.

이 펑션 콜링 기능이 그래서 굉장히 다양하게 활용이 될 수 있을 것 같습니다.

특히 이 기존 서비스들을 보면은 보통 이렇게 말하는 거를 텍스트로 바꾸고 그다음에 자연어 처리를 한 다음 뭐 GPT4 같은 걸로 그다음에 텍스트를 스피치로 다 바꾸는 이런 것들로 이제 점철돼 가지고 전체 비용이 있을 텐데 현재 오픈 AI의 리얼타임 API 같은 경우에는 물론 분당 토탈 코스트가 딴 거에 비해서 굉장히 비싸요.

몇 배씩 되는 건데 하나로 합쳐 가지고 NLP 모드로만 한 번에 빵 이렇게 처리를 하고 그거를 레이턴시 없이 지원을 할 수가 있다 보니까 조금 비싸더라도 이러한 것들을 활용할 수 있을 만한 수요가 생길 수 있다라는 거 여기에 주목을 하시면 좋을 것 같고요.

특히 오픈에 있는 뭐 스피커라는 그런 앱 있잖아요.

뭐 영어 해야 하는 거 요런 것들을 API 활용해 가지고 뭐 역할을 한다거나 이런 것들도 미리 지원돼 왔는데 이게 훨씬 더 자연스럽게 될 수 있겠다.

이게 지금은 음성만 되는데 앞으로는 시각이라든가, 비디오라든가, 이런 것들을 다 추가를 할 예정이라고 합니다.

그러면은 거기에 확장해서 음성뿐만이 아니라 더 많은 앱들이 등장할 수 있겠죠.

이거 자체 API 실시간으로 지원된다는 사실이 수많은 개발자들이 더 창의적이고 굉장히 편의성이 높은 그런 앱들을 만들 수 있다라는 측면, 그리고 영상이라든지 아니면 시각적이고 이런 것들 다 추가할 예정이니까 훨씬 더 확장이 가능하겠다고 예상을 해 볼 수가 있겠죠.

다음에 보실 게 바로 이 프롬프트 캐싱이라는 겁니다. 여러분, 캐시 메모리라는 게 뭡니까?

우리 CPU 그래도 캐시 메모리 있으면은 자주 쓰는 명령어들은 캐시에 L1, L2, L3 캐시에 딱 담아놨다가 멀리까지 램까지 다 멀리까지 가서 오래 걸려서 받아온 게 아니라 자주 쓰고 빨리 가져올 만한 것들은 빨리 캐시해 가지고 히트가 되면은 바로 이렇게 빠르게 처리할 수 있도록 지원하는 거죠.

그만큼 CPU 빨리 처리할 수 있는 거 그런 것들 하듯이 이 프롬프트도 캐싱이란 걸 지원합니다.

요 왼쪽에 보시는 게 캐시드 인풋 토큰 데이터라고 되어 있죠. 지금 현재 프롬프트를 입력했을 때에 얼마나 돈이 많이 드는가 보여주는 건데 캐싱이 된다고 하면은 요게 절반 수준으로 떨어집니다, 여러분.

개발자들은 오픈 AI 돈을 주고 프롬프트를 얼마나 많이 입력됐을, 따라서 즉 앱을 쓰는 사용자들이 얼마나 많은 데이터를 썼냐 따라서 그만큼 과금을 하게 되잖아요.

그러니까 그 과금을 하는 만큼 개발자들은 그만큼 돈을 GPT 많이 써야 돼요.

근데 캐싱, 프롬프트 캐싱이란 기능은 이전에 같은 맥락에 입력을 받았던 거를 잘 기억을 하고 있다가 이전에 처리한 입력을 재사용하는 방식을 쓰니까 애초에 오픈 AI GPT 이거를 토큰을 더 많이 소비를 안 하게끔 설계를 했다라는 거예요.

그러니까 비용을 50% 절감하면서 처리 속도는 더 빠르게 만들 수 있으니까 이렇게 입력되는 토큰들에 대해서 절반 가격으로 이렇게 줄여서 지원을 할 수 있다라고 얘기가 되는 것이 되겠죠.

물론 출력되는 거는 여전히 캐싱이 안 되는 거기 때문에 입력된 것 중에서 내가 이제 사용자들이 앱을 사용할 때 계속 자주 쓰는 것들을 계속 입력을 하면은 걔네들 싹 기억해 놨다가 또 이렇게 하면 되니까 처음부터 끝까지 다 넣을 필요 없잖아요.

그러면 사실 이거는 OpenAI 입장에서도 좋은 일이에요.

그만큼 컴퓨팅을 더 많이 소요를 안 하니까 적당한 싼 가격으로 주고 더 많이 쓰게끔 한다는 거니까 윈윈하는 전략이라고 볼 수 있겠고요.

지금 최신 버전, 그러니까 GPT 4라든가 GPT 4o 미니 버전, 그리고 o1 프리뷰, o1 미니 같은 버전 얘네들 또 이제 파인 튜닝한 버전에 자동으로 적용이 될 수 있다라고 하니까 또 굉장히 개발자 입장에서는 그냥 만들면 알아서 과금이 잘 되겠구나라는 해 볼 수 있는 부분 상당히 인상적이었습니다.

그러면 이런 거는 이제 예를 들어 반복적으로 어떤 거를 주문을 관리하는 시스템 같은 거 있잖아요.

그러면은 앱 개발자 입장에서는 야, 똑같은 건데 계속 이거 똑같은 거 계속 처리를 해야 되니까 그만큼 토큰을 많이 쓸 수밖에 없었는데 이제는 훨씬 더 줄여서 비용을 절감할 수가 있겠고요.

기업 내부라는 아니면 고객 QA 서비스 같은 것들, 자주 묻는 질문 같은 경우에는 우리가 흔히 이제 FAQ 따로 모아 놓잖아요.

매번 토큰을 소비하는 게 아니라 이미 이전에 물어봤던 것들을 잘 캐싱을 해 가지고 하면은 코스트를 훨씬 더 줄일 수 있는 장점이 있겠죠.

실제로 캐시 사용량을 API 응답의 UCG 필드 안에 '아, 요만큼 썼습니다'라고 내가 얼만큼 썼구나' 확인할 수 있다라고 하니까 요것도 개발자들이 그냥 믿어 달라가 아니라 확인할 수 있다라는 점, 저만큼만 과금이 된다는 거이 캐시가 보통 5분에서 10분 동안은 사용 안 하면 그냥 지워지는데 최대 한 시간 동안 유지가 된다고 해요.

그래서 회사별로 이제 부분에서 관리가 되고 있으니까, 세이프티 문제 관련해서도 좀 이제 신경 썼더라고요.

하고 있습니다. 다음에 또 세 번째 나온 것이 바로 모델 디스틸레이션이라는 부분인데요. 요것도 이제 코스트를 줄이는 영역이죠.

디스틸레이션, 그러니까 거대한 L&M 모델이 있으면은 요거를 특정한 작업을 할 때는 규모를 작게 하면서도 좀 이게 비용을 줄일 수 있도록 크기를 줄여 주는 작업입니다.

근데 이 디스틸레이션, 그러니까 작게 만들어 준 역할을 OpenAI 이 플랫폼 해 가지고 굉장히 쉽게 만들어 놨어요.

그러니까 개발자가 실제 사용자 데이터를 기반으로 딱 맞춰 가지고 이 모델을 만들 수 있도록 지원을 한다는 건데요.

약간 GPTs 느낌 나죠. 근데 이게 디스틸레이션 자체도 이렇게 플랫폼화 된다라는 건데, 처음에 어떠한 모델을 가지고 특정 모델을 고른 다음에 이 모델 가지고 아, 요러요러한 것들을 만족하는 거을 만들고 싶어요라고 세팅을 합니다.

그러니까 스펙을 정하는 거죠. 그런 다음에 이 고성능 모델에서 프롬프트로 입력하고 거기에는 대답했던 것들, 이런 것들을 쫙쫙쫙 데이터셋으로 생성해서 모아 놓습니다.

이거를 스토어드 컴플리션이라고 얘기를 하는데 얘네들을 다 모아 가지고 이제 파인 튜닝된 수집된 데이터를 목표 모델로 학습을 시키는 거죠.

그 데이터로 이제 쫙 학습을 시킨 다음에 성능을 마저 평가를 하면은 이 과정을 반복하면서 점차 자가진 모델을 만들 수 있다라는 거죠.

이게 스토드 컴플리션 같은 경우에는 무료로 사용이 가능하다라고 얘기가 되어 있고 다 한 다음에 이제 얼마 잘 되는지를 확인해 보는 밸류에이션 같은 경우에는 지금 베타 버전으로 해 가지고 일반 모델 가격으로 책정한 다음에 지금 연말까지 주당 7회는 무료 평가가 가능하다라고 합니다.

그리고 마지막으로 파인 튜닝까지 이 일반 파인 튜닝과 가격이 동일한데 지금 프로모션 기간이라서 10월 말까지 GPT4 미니에 대해서 11 200만 토큰 GPT 4에 대해서는 하루에 100만 토큰까지 무료로 제공을 하고 있다니까 요것도 이제 사람들이 디스틸레이션 해 가지고 하는 것들을 많이 사용할 수 있도록 빨리 선점하려고 하는 것으로 보여요.

이렇게 되니까 뭐 고객 맞춰 가지고 커스터마이징한 응답 생성을 하는 그런 앱을 만드는 경우에는 고객하고 한 대화들을 이제 쫙 수집한 다음에 이걸 파인튜닝해 가지고 훨씬 더 작은 모델로 만들면 그만큼 API 사용하는 기업들이나 개발자들이 훨씬 더 코스트를 줄일 수가 있겠죠.

모델이니까. 그리고 금융 트렌드를 빨리 예측할 수 있도록 굉장히 리소스가 제한된 환경에서도 작은 모델을 굴릴 수 있도록 할 수 있으니까.

그리고 뭐 개인화된 어떤 과외 선생님을 만든다거나 이런 것들 모든 것들이 굉장히 싸게 할 수 있다는 거죠.

즉, 지금 코스트가 문제가 되고 있다 보니까 개발자 친화적으로 이런 거를 만들어 나간다고 보시면 되겠고요.

세상이 또 한 번 바뀝니다... OpenAI 실시간 음성 모드부터 더 저렴하게 앱을 만들 수 있는 다양한 프레임워크까지!

공학박사 '에러'가 전하는
최신 공학/테크/IT/신기술

문의 : Unrealtech2021@gmail.com

안될공학 - IT 테크 신기술

OpenAI Dev Day 2014 주요 발표 내용 요약 및 기술 적용 전망

실시간 정보 활용 및 시각화 가능한 AI 어시스턴트 앱 등장 가능성 제시

API Pro를 사용한 실시간 음성 대화 구현의 중요성 강조

기존 GPT 음성 기반 AI 대화의 한계점

Whisper, GPT-4, TTS Pro 모델을 거치며 감정, 억양 등 정보 손실 발생

웹 소켓 연결을 통한 실시간 양방향 통신으로 지연 시간 감소

실시간 API를 이용한 개발자들의 다양한 앱 개발 가능성 확대

낮은 지연 시간과 확장된 사용성으로 정교한 어플리케이션 잠재력 증가

실시간 고객 지원, 차량 내 음성 어시스턴트 등 다양한 분야에 AI 활용 가능성

Vision Pro, Meta glasses 등 기기에서 직접 음성 인터페이스 지원 가능성

함수 호출 기능을 통해 실시간 위치 정보 및 다양한 서비스 연동 가능성

실시간 주식 정보, 건강 데이터 등 다양한 분야에서 실시간 정보 활용 가능성

OpenAI 실시간 API는 높은 비용에도 불구하고 NLP 모드에서 빠른 처리가 가능

향후 시각 및 영상 지원 추가로 더 많은 어플리케이션 등장 기대

자주 사용하는 명령어를 캐시에 저장하여 빠른 처리 가능

동일한 맥락의 입력 재사용으로 토큰 소비 감소 및 비용 절감 효과

반복적인 작업에서 토큰 사용량 감소, 기업 FAQ 서비스 비용 절감

API 응답의 UCG 필드에서 실제 캐시 사용량 확인 가능, 안전 문제 고려

모델 증류(Model Distillation)를 통한 비용 절감

모델 규모 축소 및 비용 최소화, OpenAI 플랫폼을 통한 쉬운 모델 생성

저장된 데이터를 활용하여 모델 훈련, 무료 평가 및 파인튜닝 토큰 제공

API 사용 기업 및 개발자의 비용 절감 및 빠른 예측 가능

텍스트뿐만 아니라 이미지로도 모델 훈련 지원

이미지 예시를 통한 파인 튜닝으로 GPT-4의 정확도 향상

AI 생성 엔지니어링 툴 개발 회사의 이미지 학습을 통한 UI 요소 인식 및 레이아웃 생성

개발자는 데이터셋 준비 및 모델 선택 후 파인 튜닝 가능

프롬프트 생성기 (Prompt Generator)

플레이그라운드에서 적절한 내용을 작성하면 해당 프롬프트 생성

GPTs 데이터 활용 전략 및 API 기능 활용 장려

비용 절감 프레임워크 제공으로 개발자 앱 개발 및 투자 활성화 기대

🗣️ OpenAI Dev Day 주요 발표 요약

안될공학의 안대공입니다. OpenAI 개발자 컨퍼런스(Dev Day 2024)에서 발표된 주요 내용을 빠르게 요약하고, **이 기술들이 실제로 어떻게 적용될 수 있는지** 살펴보겠습니다. 단순히 기술 소개를 넘어, 우리의 삶에 어떤 변화를 가져올지 함께 고민해 보겠습니다.

📞 실시간 음성 대화 API의 혁신

가장 주목할 만한 점은 실시간 음성 대화 API의 등장입니다. 기존에는 Whisper, GPT-4, TTS Pro를 거쳐 음성 인식이 이루어졌지만, **이제는 실시간으로 소통이 가능해졌습니다**. 이는 웹 소켓 연결을 통해 클라이언트와 서버 간 양방향 통신이 가능해졌기 때문입니다.

기존 방식은 요청마다 연결/해제를 반복하여 지연 시간이 발생했지만, 웹 소켓 연결은 **마치 전화처럼 연결 상태를 유지하여 지연 시간을 획기적으로 줄입니다**. 개발자들은 이 API를 활용하여 실시간 소통 앱을 광범위하게 개발할 수 있게 되었습니다.

실시간 음성 인식 데모에서는 스페인어로 카페에서 주문하는 모습이 소개되었습니다. 이는 **AI 어시스턴트가 실시간으로 질문하고 응답하는 것이 가능**해졌음을 보여줍니다. 과거에는 버튼을 눌러야 했던 고객 지원이나 애프터 서비스도 음성으로 실시간 처리가 가능해질 것입니다.

Vision Pro와 같은 기기에서도 음성 인터페이스를 직접 지원하게 되면서, AR/VR을 포함한 많은 서비스가 이러한 기술로 대체될 가능성이 큽니다. **실시간 정보 획득을 위한 자동 함수 호출 기능**은 무궁무진한 응용 가능성을 제시합니다.

💰 비용 절감을 위한 프롬프트 캐싱

프롬프트 캐싱은 **동일한 맥락에서 반복되는 입력에 대해 이전에 처리된 입력을 재사용**하는 기능입니다. 이를 통해 토큰 소비를 줄여 비용을 50%까지 절감하고 처리 속도를 향상시킬 수 있습니다. 앱 개발자들은 GPT 사용량에 따라 비용을 지불하므로, 이 기능은 매우 유용합니다.

자주 묻는 질문(FAQ)이 많은 기업 환경이나 고객 Q&A 서비스에서 특히 유용하며, **API 응답의 UCG 필드에서 실제 캐시 사용량을 확인**할 수 있어 투명성을 높였습니다. 캐시는 5~10분 동안 사용되지 않으면 삭제되지만, 최대 1시간까지 유지될 수 있습니다.

✨ 모델 증류를 통한 경량화 및 맞춤화

모델 증류는 **대규모 언어 모델(LLM)을 특정 작업에 맞게 축소하여 비용을 절감**하는 기술입니다. OpenAI 플랫폼을 통해 개발자들은 실제 사용자 데이터를 기반으로 모델을 쉽게 만들 수 있습니다. 이는 GPTs와 유사한 방식으로 플랫폼화되고 있습니다.

고성능 모델에 프롬프트를 입력하여 생성된 응답을 데이터 세트로 수집하고, 이를 활용하여 대상 모델을 훈련시킵니다. **무료로 제공되는 저장 완료 기능**과 프로모션 기간 동안 제공되는 무료 토큰을 통해 개발자들은 더욱 쉽게 모델을 증류할 수 있습니다.

고객과의 대화 내용을 수집하여 맞춤형 응답을 생성하는 앱을 만들고, 이를 미세 조정하여 더 작은 모델을 만들 수 있습니다. **이를 통해 API를 사용하는 기업과 개발자는 비용을 크게 절감**할 수 있습니다. 또한, 리소스가 제한된 환경에서도 소규모 모델을 사용하여 금융 트렌드를 빠르게 예측하거나 개인 맞춤형 튜터를 개발할 수 있습니다.

🖼️ Vision 2 Fine-tuning API: 이미지 기반 학습 지원

Vision 2 Fine-tuning API는 **텍스트뿐만 아니라 이미지로도 모델을 훈련시킬 수 있도록 지원**합니다. 동남아시아 배달 서비스 랩(Grab)의 사례에서 볼 수 있듯이, 100개의 이미지 예시만으로도 교통 표지판을 정확하게 찾아낼 수 있도록 GPT-4를 미세 조정할 수 있습니다.

자동차 회사 오토맷(Automatt)은 스크린샷 데이터만으로 화면의 UI 요소들을 인식할 수 있도록 훈련시켰습니다. AI 생성 엔지니어링 도구 개발사인 CoFrame은 **기존 UI와 유사한 레이아웃을 생성하는 AI를 훈련**시켰습니다. 개발자는 사용할 이미지를 수집하여 OpenAI 플랫폼에 업로드하고, 모델을 선택하여 미세 조정만 하면 됩니다.

🚀 프롬프트 생성기: 효과적인 프롬프트 자동 생성

플레이그라운드에서 간단하게 설명만 입력하면 **해당 설명에 맞는 프롬프트를 자동으로 생성**해 줍니다. 샌프란시스코 여행을 위한 활동을 추천하는 여행 에이전트를 만들고 싶다고 입력하면, 그에 맞는 프롬프트가 생성됩니다. GPTs가 널리 배포되면서 수많은 사람들이 프롬프트를 입력했을 것이고, OpenAI는 거기서 가장 인기 있고 효과적인 프롬프트를 선택했을 것으로 추정됩니다.

💡 결론: 앱 생태계 확장을 위한 OpenAI의 전략

이번 개발자 컨퍼런스의 핵심은 **모든 사람이 이러한 도구를 사용하여 앱을 만들고, GPT를 구축하고, API 기능을 활용하여 미세 조정하고, 이미지에서 학습할 수 있도록 장려**하는 데 있습니다. OpenAI는 강력한 실시간 음성 모드, 이미지 미세 조정, 모델 증류 프레임워크를 통해 개발자들이 더욱 쉽고 빠르게 앱을 개발할 수 있도록 지원하고 있습니다.

OpenAI의 GPT는 생성 AI 분야에서 선두를 차지하며 많은 사용자를 확보하는 데 성공했습니다. **이는 개발자들을 안내하면서 막대한 양의 정보를 빠르게 수집할 수 있었던 비결**이라고 생각합니다. 이번 발표는 성능 향상뿐만 아니라 비용 절감 프레임워크를 제공했다는 점에서 매우 의미가 큽니다.