OpenAI 개발자 데이: 실시간 API 및 미세 조정 혁신

OpenAI의 새로운 실시간 API를 통해 개발자는 빠르고 매력적인 음성 대화 애플리케이션을 만들 수 있습니다.

### OpenAI 개발자 데이의 흥미로운 혁신: 실시간 API 및 미세 조정 기능
* 🚀 OpenAI는 개발자가 애플리케이션에서 초고속 번역을 촉진하는 **빠른 음성 대 음성 환경을 만들 수 있는 실시간 API**를 공개했습니다.
* 🖼 새로운 이미지 미세 조정 기능을 통해 개발자는 **텍스트와 이미지를 모두 사용하여 GPT-4를 미세 조정**할 수 있어 비전 애플리케이션에 혁신을 가져올 것으로 기대됩니다.
* 💾 추가 기능으로는 **자동 프롬프트 검색을 위한 API의 프롬프트 캐싱**과 **비용 효율적인 모델 생성을 위한 모델 증류**가 있습니다.
* 💰 그러나 실시간 API는 **오디오 출력 가격이 백만 토큰당 200달러**로 책정되는 등 비용이 많이 들기 때문에 개발자는 비용을 신중하게 관리해야 합니다.
* 🔍 실시간 API는 **지연 시간이 짧은 통신을 위한 웹소켓 연결**을 지원하여 미세한 출력과 자연스러운 굴곡을 허용함으로써 사용자 경험을 향상시킵니다.
* 📊 OpenAI의 미세 조정 API는 **최소 100개의 이미지로 비전 작업의 성능**을 향상시킬 수 있으며, 발표자는 **Reddit 게시물 제목과 업보트를 추출하기 위해 약 20개의 이미지로 구성된 데이터 세트**를 실험할 계획입니다.
* 🛠 데이터 세트를 업로드하는 동안 중재 문제로 어려움을 겪었지만, 발표자는 **이미지에서 관련 정보를 추출하는 모델을 성공적으로 미세 조정**하여 새로운 도구의 잠재력을 보여주었습니다.
* 💬 연사는 이러한 혁신의 미래 가능성에 대한 기대감을 표현하며 시청자들에게 **아이디어를 공유**하고 이러한 발전에 대한 **더 많은 콘텐츠를 구독**하도록 초대합니다.

OpenAI DevDay | Realtime Speech to Speech API + Image Fine-tuning TESTED

Welcome to my channel All About AI =)

Website:
https://www.allabtai.com

How you can start to use Generative AI to help you with creative or other daily tasks.

So I aim to bring Generative AI to everyone.

- AI Engineering
- ChatGPT
- GPT-4
- Midjourney
- Stable Diffusion
- Python
- AI Automation

We will answer all your questions about ai, genereal questions about the future of ai and the ethics of artificial general intelligence.

Follow our channel if you want to get going in this space =)



All About AI

OpenAI의 흥미로운 개발자 데이 소식

OpenAI는 개발자를 위한 실시간 API를 출시하여 빠른 음성 대화 경험과 빠른 번역을 가능하게 합니다.

0의 이미지 미세 조정 기능을 통해 개발자는 텍스트와 이미지를 결합하여 Vision 애플리케이션을 혁신적으로 개선할 수 있습니다.

이 외에도 자동 프롬프트 검색을 위한 API의 프롬프트 캐싱과 비용 효율적인 모델 생성을 위한 모델 증류 기능도 발표되었습니다.

음성 인식 API의 흥미로운 개발 동향

새로운 API는 웹소켓 연결을 통해 실시간 커뮤니케이션을 가능하게 하여 지연 시간을 줄이고 함수 호출을 지원합니다.

네이티브 음성 대 음성 기능, 짧은 지연 시간, 자연스러운 변곡을 제공하며, 중재 및 빠른 실시간 응답을 위해 텍스트를 사용할 수 있는 옵션도 제공합니다.

오디오 출력 토큰의 가격은 비싸지만 livekit.

io의 플레이그라운드를 통해 API를 테스트하고 실험해 볼 수 있는 기회가 있습니다.

실시간 API 및 비전 미세 조정 살펴보기

실시간 API는 공개 베타 버전으로 개발자에게 200달러에 100만 토큰을 제공하지만, 높은 비용으로 인해 표현력이 제한됩니다.

앵무새 캐릭터를 이용한 역할극은 재미있는 상호작용을 위한 API의 잠재력을 보여주었습니다.

이미지에서 간단한 JSON 형식의 입력 및 출력으로 제목과 Reddit 업보트를 추출하기 위해 Vision 미세 조정 API가 연구되고 있습니다.

미세 조정을 위한 Reddit 업로드 가져오기

목표는 Reddit 게시물에서 제목과 업로드를 추출하여 CSV 파일로 포맷하는 것입니다.

비전 작업에서 GPT-4의 성능을 개선하기 위해 20개의 이미지 데이터 세트가 준비되고 있습니다.

OpenAI의 미세 조정 프로세스는 이미지의 조정 문제로 인해 6번째로 시도되고 있습니다.

Reddit 추출기 모델의 성공적인 튜닝

사용자는 AI의 조정 및 링크 오류에 불만을 표시했지만 계속해서 모델을 조정했습니다.

학습 손실이 거의 0으로 감소하여 성공적인 튜닝이 이루어졌음을 나타냅니다.

이 모델은 이미지에서 제목과 Reddit 업로드를 추출할 수 있어 특정 사용 사례에 대한 가능성을 보여주었습니다.

이미지 모델과 실시간 API 미세 조정에 대한 흥미진진한 이야기

발표자는 이미지 모델을 미세 조정하는 작업의 결과에 만족하며 앞으로도 계속할 수 있기를 기대하고 있습니다.

다른 사람들도 겪었던 실시간 API 액세스 문제를 겪었지만, API의 잠재력이 매우 흥미롭다고 합니다.

발표자는 실시간 API를 더 탐구할 계획이 있으며, 이를 유전적 워크플로 또는 도구 호출에 구현할 의향이 있습니다.