OpenAI's 53 Model: Benchmark Scores Shatter Expectations, AGI on the Horizon?

OpenAI의 새로운 모델인 53은 인간의 능력을 뛰어넘는 획기적인 벤치마크 점수를 달성했습니다.

### JoCoding: OpenAI의 53 및 53 Mini 발표 - AGI의 도래?
* 🎉 조코딩은 OpenAI의 새로운 모델 **53**과 **53 Mini**의 발표를 라이브 스트리밍으로 전달했습니다.
* 💻 53 Mini는 **코딩 벤치마크에서 놀라운 점수 향상**을 보였으며, 기존 모델을 압도하는 성능을 선보였습니다.  특히,  **"23점 상승"**과 **"900점 상승"** 등의 결과가 언급되었습니다.
* 🤔  53 Mini의 성능은 **인간 수준을 뛰어넘는** 것으로 평가되었으며, AGI의 가능성에 대한 기대감을 높였습니다.  **"사람보다 더 뛰어나요"**라는 코멘트가 나왔습니다.
* 📊  **다양한 벤치마크 테스트에서 압도적인 성능**을 보여주었고, 기존 모델의 한계를 뛰어넘는 결과를 보여주었습니다.  "**벤치마크가 포화되었다**"는 기존의 평가를 뒤집는 결과였습니다.
* 🤖 53 Mini는 **세 가지 추론 시간 옵션 (Low, Medium, High)**을 제공하며, 사용자의 요구에 맞는 성능을 제공합니다.
* ⏳  53은 1월 말에, 53 Mini는 **2024년 1월 말**에 사용 가능할 예정입니다.  "**Available to our users today**" 라는 발표가 있었습니다.
* 🚀  발표 내용은 **AGI의 가능성**에 대한 논의를 촉진했으며,  OpenAI의 기술력에 대한 높은 기대감을 확인시켜주었습니다.
* 📈  방송에서는 53과 53 Mini의 성능 외에도, 관련 **주식 시장의 변동**과 **AGI 대회**에 대한 이야기도 나왔습니다.

[음악] 아, 안녕하세요. 아, 반갑습니다. 오늘 많이 오셨군요.

반갑습니다. 대환킴 님, 안녕하세요. 브레맨음악대 님, 안녕하세요. 코하

조화입니다. 아, 자다 일어났습니다. 아, 놓칠 뻔했습니다. 아, 졸려 가지고.

근데 오늘은 안 일어날 수가 없었죠.

바로 일어나서 바로 켰습니다. 아, 53, 53 나온다고 하죠. 아, 튼 4.5네.

4.5, 거기 그 트위터나 뭐 더 정보가 아니면 그 개발자 도구로

봤을 때는 이제가 나온다 하는데, 님 오시나요? 아, 내일 뵙겠습니다.

아, 어, 어, 됐다. 어이, 되게 주요 멤버가 나온 거

같네요. 오, 5원에 대해 소개하고 있죠.

[음악] 넥스트 프론티어 모델, 드디어 큰 거

온다! 맞네요. 53333 미니를 발표한 와!

미쳤다! 저작권 때문에 아, 그럼 아직 public 공개는 안 하고

테스트를 한다. 세이프티 테스트, 아, 벤치마크 이런 거 되게

궁금하네요. 오, 퍼포먼스는 일단 보여준대요.

늘어났어요. 5원 프리뷰 다 엄청

넣는데 야씨, 야 거의 23점 막 이 정도

올라가고 아 이거는 거의 900점 이렇게 올라갔네.

씨, 아 미쳤다! 와, 이거 현실이 맞나?

진짜 대박이네요. 이거 어, 그러니까 사람보다 더 뛰어나요. 그

그 뭐야, 코딩 테스트하는 그 성적이 최고. 진짜 잘하는 사람이 한 3점

되는데 거의 급이 다른 거죠. 박이다! 확

올라갔네. 와, 한 문제 정도 틀렸는데요.

진짜 어려운 거. 아이, 말이 되나? 그 모든 벤치마크가

포화된, 막 이런 말 했었는데…만이 어, 진짜 진짜 그럴 수

있겠네요. And I think… 거의 20몇 배가 증가했어요.

여러분, 지금 아직 2024년입니다! 놀랍게도 지금 2024년인데, 와!

AGI 곧 올 것 같습니다. 이거 되게 궁금했거든요, 저도 그

생각했는데. 크, 벤치마크 그 대회 열고

있잖아요. AGI 대회, AGI 찾는다고. 야, 이거 몇 점

나왔을까? 아, 이거 박스인데요. 이거 아마 보신 분들

있을 거예요. 이거, 이거요. 이거 사람은 풀기가 그렇게 어렵지

않은데, 그 AI 풀기가 되게 어려운 문제여 가지고 이거가 뭐 이게

풀리면… 라면서 상금 되게 크게 걸고 대회를

AI more EX here now you on the spot. What do you think is going on in this task? Okay, so you

take each of these yellow squares, you count the number of colored squares there, and you create a border

of that. That is exactly it, and that's much quicker than most people. So congratulations on

that. Interesting is AI has not been able to… 아, 웬만한 인간도 이거 패턴 찾기가

어려운데 이걸 찾았다. 근데 이분은 AI 계신… 짜…

세계 천재이기 때문에 바로 풀었지만, 웬만한 사람은 바로 알기가 어렵죠.

와, 이거 지금 뭐야? 53%? 1등인가? 근데 이걸 뛰어넘었다는

거죠. 잠깐, 이거 말이 되나? 아, 이거 뭐 지금… 지금 저 꿈 아니죠? 이거

미쳤네. 정말… 보통… 미친 거 같네요. ㄹㅇ

이거예요. 와, 대박. 아, 이게 말이 되나? 와, 지금 이게

53%? 기존에… 아, 여기 있다! 이 하이스코어를 벌써

나왔구나, 이게 웬걸 다 뛰어넘네, 와!

미쳤네요. 와! 벤치마크 이제 더 필요하다. 이제

다 웬만한 건 다 끝냈기 때문에

미쳤죠. 다, 아씨, 이거 이거면 AI 아닌가, 거의

AGI, 언제까지 AGI 아니라고 해야 될까요?

아, 이거 비트코인 투자 자동화하면 얼마 투자…

잘하네. 미니에 대해서 이제 소개나 봐요.

Available to our users today. We are opening access to the model to our safety and security research… model out with the

release of adaptive thinking time in API, couple days ago. For all, will support different options: low, medium, and high

reasoning effort.  세 가지 타입이 또 있나 봐요, 미니 안에서도.

그 5월 발표하면서도 그 추론 시간에 대한 파라미터가 있었는데, 뭐 그런

식으로 미니, 하이, 이렇게… 미디엄,

하이 줄 수 있는 거. AI 점수가 진짜 비현실적이네요.

미니로는… 어, 그렇게보다 살짝만 써도 그 이전보다 훨씬 좋은

성능이 나와. 하하, 도 박다. 근데 5월이 압도적이네요. 와, 미쳤다!

이걸 이렇게 부를 수 없을까요? 와 이게 네요

와 어이 이거 뭐야? 알파치티 알파, 이게 미니 하요

The code generator and executor. So if I launch this, run this like Python script, it will launch a server

and locally with a UI that contains a text box, and then we can make coding requests

in a text box. It will send the request to call all mini APIs, and all mini APIs will solve

the task and return a piece of code, and will then save the code locally. 오, 되게 뭔가 복잡한 과정이죠?

서버 띄워 가지고 API 요청으로 미니 요청해, 그걸 받는 것을 로컬에서

한다. 그 코드를 달라 이렇게 한 거 같아요. 그래서

서버를 방금 받은 코드로 실행을 했고, 거기 들어갔을 때 미니를 쓸 수 있는

그, 아마 요청을 날릴 수 있게 하는 거겠죠?

하면 한테 날려서 오는 그 서버 코드를 만들어줬다. 어, 이렇게

아, 코딩 능력을 그러면 이렇게 한번 테스트를 해본 거

같아요. 오, 이게 라이브라는 거 생각하면 그냥 라이브로 한 방에

이거를 성공했다는 거죠. 이게 월드코인 올랐나요? 월드코인

이야기하… 월드코인 나요? 그렇게 변화는 없네. 좀 모르긴 했네.

어, 되게 재밌네요. 이게 그 원 미니 요청하는 코드를 만들어서 그 서버를

띄운 다음에 그 안에서 또 요청을 해 가지고 또 받고 있어요.

응답을… may… 어… 찐 라이브가 보네…다… 아, 이게 지금 뭐 한 거냐면,

아까 그 플라스크 서버를 만들었는데,

원 미니한테 요청할 수 있는데, 그거에 아까 뭐 벤치마크 점수 계산하는 것을

해달라고 했나? 그래서 뭐 아마 벤치마크 자료 다운받고,

자동으로 GPU 그 테스트를 한 것 같아요. 그럼 모델이 알아서 제기

개선하는, 약간 그런 것도 할 수 있겠다, 뭐 이런 얘기일까요?

2024 per mini… and… 와, 이건 오래… 아, 확실히 오래 걸리긴 하네요.

보네요… 이 생각을 오래 해 가지고… 이건가?

아, 미니는 진짜 빨리 응답이 온다는 것을

보여주는 자료로 나오는 거 말하는 거죠. 근데 완벽하진 않네요. 이게 그

요청한 JSON대로 완벽하게 응답해

주지는 않는 것 같긴 한데… 그래도네요.  GPU Diamond

performance… I run… clear days… AG… 62%… basic… [웃음] 압도적이네요. That's it for…

and I hope we can have a much better experience next year. Fantastic work! Than—I know, excited! Right. But...

You can write it beforehand, they say. Submit it immediately, they say. I'm going to submit it right away.

What? It won't go through. Too many people...

are crowding.  Spinning around...  Is it the safety limit the AI is hitting?

You try this kind of intent hidden. Even if you try to...

oftentimes the reasoning will break that, and the primary result you see is in this figure. That's

shown over here. We have our performance on a rejection benchmark on the x-axis, and over refusals on the

y-axis. And here, uh, to the right is better. So this is our ability to accurately tell when

we should reject something, also our ability to tell when we should review something. Typically, you think of these

o3 출시!!! 12 Days of OpenAI - 마지막날 함께봐요!!

누구나 배울 수 있는 쉬운 코딩 채널을 만들어가는 조코딩입니다. 프로그래밍에 대해 아무것도 모르더라도 개발이 가능하도록 기초부터 차근차근 쉽게 설명해드립니다. 또한, 단순히 코딩 지식을 배우는 것을 넘어서 웹, 앱, 게임 같은 결과물을 만들고 비즈니스 모델을 만들어 수익화 하거나 주식/코인 투자 자동화, 업무 자동화를 하는 등 실용적인 관점에서 코딩을 교육합니다.

비즈니스 문의
business@jocoding.net


조코딩 JoCoding

방송 시작과 함께 시청자들에게 인사를 건넨다.

특정 시청자들에게 개별적으로 인사를 한다.

방송을 놓칠 뻔 했다는 에피소드를 언급한다.

오늘은 꼭 방송을 해야만 했던 이유를 설명한다.

OpenAI의 새로운 모델, 53에 대한 소개 및 기대감

53 모델의 성능에 대한 정보를 공유한다.

트위터나 개발자 도구를 통해 얻은 정보를 언급한다.

53 모델에 대한 기대감을 표현한다.

'넥스트 프론티어 모델'이라는 표현을 사용하며 기대감을 높인다.

53333 미니의 발표에 대한 놀라움을 표현한다.

53 모델의 성능 및 벤치마크 결과 분석

세이프티 테스트와 벤치마크 결과에 대한 기대감을 표현한다.

델 코딩 벤치마크에서의 놀라운 점수 향상을 언급한다.

53 모델의 코딩 성능이 인간보다 뛰어나다는 점을 강조한다.

벤치마크 결과에 대한 놀라움과 함께 AGI의 가능성을 언급한다.

AGI의 도래 가능성 및 관련 대회 언급

AGI가 곧 올 것이라는 예측을 한다.

AGI 대회와 관련된 이야기를 나눈다.

특정 난이도 높은 문제에 대한 AI의 성능을 언급한다.

AI가 어려운 패턴을 찾아낸 것에 대한 놀라움을 표현한다.

53 모델의 성능이 기존 하이스코어를 뛰어넘었다는 사실을 강조한다.

53 미니 모델의 기능 및 추가 정보

비트코인 투자 자동화에 대한 언급과 함께 53 미니에 대한 소개를 시작한다.

53 미니 모델의 사용자 접근 및 안전 연구에 대한 정보를 공유한다.

53 미니 모델 내에서 추론 시간에 대한 세 가지 옵션(low, medium, high)이 있다는 것을 언급한다.

53 미니 모델의 성능이 이전 모델보다 훨씬 우수하다는 것을 강조한다.

코드 생성 및 실행 기능에 대한 설명을 제공한다.

53 미니 모델의 출시 시점을 언급하며 기대감을 표현한다.

AGI의 등장이 가까워졌다는 예측을 한다.

53과 53 미니 모델의 주요 특징을 요약한다.

향후 GPT류 모델보다는 추론 모델 강화에 집중할 것으로 예상한다.

벤치마크 점수의 놀라운 향상을 다시 한번 강조한다.

방송을 마무리하며 다음 방송을 기약한다.