[음악] 안녕하세요. 인공지능 아카데미 아이입니다.

오픈 AI 라이브 121회가 마지막으로 오늘 새벽에

끝났습니다. 그래서 지금 작은 음성으로, 한글 자막으로 여러분들께

유튜브 상에서 보고 계신데요. O3 오리온 프로젝트라고 제가 예고한

것도 했고, 아마 내년 초에 나올 것입니다. 이렇게 해서

원 프로젝트와 오리온 프로젝트는 별개의 프로젝트로 출시될

것이라고 해외 인플루언서 기업들의

내용을 가지고 여러분들께 전해 드린 바 있는데요. 뭐 그 예측대로 그대로

되었습니다. 다만 여기에 대해서 굉장히 높은 성능이라고 발표했습니다. 근데

자꾸 보는 까닭은 최신 논문에서도

제가 영상으로 제작해 드린 바가 있는데요. LLM 업체들의 과대 광고로

해서 전부 컨텍스트 윈도우의 10% 내지 20%밖에 실제로 사용이 안

되더라는 연구 결과가 원래 11월 말, 12월 초에

있었어요. 그런 내용을 보고, 또 GPT 플러스에 대한 부정적인 생각, 그리고

실제로 테스트를 해 보면 제대로 PDF 몇 페이지짜리도 안

되는 부분을 읽지도 못하는 지금 상황에서 뭐 과학자 박사급 초월했다

뭐 했다 하는 이런 이야기는 그다지 현실적으로 저한테, 저 개인적으로는

마음에 닿지 않습니다. 왜냐면은 굉장히

비판적으로 보기 때문에 그렇습니다. 그리고 특히나 GPT-4가 어

GPT, 여기에서 보면은 파일을 첨부하는데 10개까지 할 수 있어요. 디폴트

5로 바꾸면 크기를 기준으로 해서 보면은 400… 이건 실행 파일이구요.

나도 90메가, 50메가 다양하게 있는데 이거를

업로드하면은 업로드가 다 돼요. 제가 어제 커뮤니티에서 말씀을

드렸는데, 패지도 못하는데 파일은 업로드가 됩니다. 1기가가 훨씬 넘는

10개까지 업로드를 할 수가 있어요. 과연 이게 읽지도 못하는 데이터를

올리는 이유가 뭘까요? 저는 개인적으로

생각할 때는 데이터에 대해서 구현이 힘드니까 사용자 데이터를 학습을

시키는 의도가 아닌가… 읽지도 못하는 데이터, 열 페이지도 읽지 못하는

현실에서 10기가라는 부분은 어불성설이고, 메가도 읽지 못합니다.

그런 부분에 현실에서 계속 부딪히고

있기 때문에 잃지도 못하는 데이터를 마치 다 잃는 것처럼 소비자를

기만하는 행위가 있기 때문에 오늘의 발표도 저는 제가 써보지 않으면은

믿을 수가 없어요. 솔직히 지금까지

GPT가 보여준 행태를 보면은 그래서 제가 비판적으로 생각하는 부분에 대한

부분과 사실 발표에 대한 그대로를 전해드리겠습니다. 비판적인 부분은

나중에 다시 한번 여러분들께 영상으로 제가 생각하고, 그리고 객관적으로

조사된, 굉장히 많이 조사했습니다. 12월 20일 오후 1시에

속보 형식으로, 현지 시간 10시에 발표됐으나 실시간으로 검색을

하고 전부 조사를 해서 딥 리서치를 가지고 약 34개의 웹사이트,

실시간으로 OpenAI 레딧, 그리고 미국의 유수한 언론들, 블로그나

이런 것은 거의 없습니다. 물론 레딧도

블로그라고 보면 블로그인데, 우리나라 일반적인 개인의

블로그하고 다르니까요. 그래서 신빙성

있는 정보를 가지고 분석을 해 보면은 우려 반, 기대 반, 그렇습니다. 항상

새로운 게 나오면 그렇지만은 그런 점에

오픈AI 모델 평가에 대해서는 상세하게 여러분께 설명드리도록 하고, 보고서를 작성하여 소개해 드리겠습니다.

소프트웨어 개발 능력은 53점, 71.7%로 굉장히 우수하다고 GPTs 오픈에서 발표했습니다.  다 우수해요.

소프트웨어 개발 능력에서 코드포스에서는 53점이 최고였고, 고성능 컴퓨팅 설정에서는 18,915점, 18,891점으로 오픈AI 수석 과학자 수준을 넘는다고 자랑했습니다.

그리고 전문 프로그램은 2500점을 기록했습니다.

O3 미니 성능은 O3 이전 모델보다 중간 추론 노력으로 성능을 향상시켰습니다.  컴퓨팅 파워가 낮은 경우와 높은 경우를 구분하여, 중간 추론 노력으로 0.1을 초과하는 성능을 달성했습니다.

그래서 비용 효율성이 크게 개선되었다고 했습니다.

수학 능력은 96.7%, 13.3%로 에픽 AI 부분에서 프론티어 소말 선단 수학 문제, 고난도 문제를 풀었습니다.

수학 문제를 수학자와 과학 교수 등

전문가로 구성된 60여 명의 평가단을 통해 배치 마크를 새로 만든 것이

있어요. 에픽 포크에서. 근데 거기에서

나오는 결과에서 불과 한 달 전에 2% 안 됐습니다. 점수가. 근데 25%

2배의 수학 능력이 향상됐다는 거예요.

과학 능력의 평가는 GPA 다이아몬드라는 성능 벤치마크에서

5점 만점에 87.7%, 5점 만점에 78%, 그리고 박사 전문가의 평균은 70%

정도입니다. 저는 제가 생각하기에 이 부분은 글자로 참조하시고

넘어가겠습니다. 미니의 효율성 평가,

추론 노력 수준별 성능인데, 낮은 추론

노력으로 GPT-4와 유사한 응답 속도와 기본적인 작업에서 높은

정확도를 보였습니다. 중간 추론 노력 수준의 성능. 현재의 개선된 비용 효율성,

그러면 가격을 좀 내릴 수 있다는 이야기겠죠. 개선된 비용 효율성이라고

했으니까, 아마 200달러가 아니라

한 40달러, 50달러까지 내릴 수도 있는지, 그건 추후 지켜보겠습니다. 그런

200달러에 대한 저항감이 워낙 세니까 이런 걸 발표한 것 같아요.

그다음에 높은 처리 능력을 고성능

컴퓨팅 파워로 했을 때, 스케일에 접하는

성능을 냈고, 복잡한 작업에서도 우수한

결과를 나타냈다. 이건 뭐냐면, 미니가

비용이 싸니까 이걸 쓰라는 것도 GPT-4 미니와 마찬가지입니다.

그다음에 미니의 API 기능 지원하겠다. 함수 호출, 구조화된 출력, 뭐

이런 거는 일반적인 사항이니까 넘어가고요. 현재 진행 중인 안전성

테스트 및 내부 평가인데, 이전에 대한 평가를 한다고 해서 람을

고용해요. 안전 진단에 관련된 전문가를 고용해서 내년 1월 10일까지 응시를

하실 수가 있습니다. 그리고 그거는 아직 링크는 뜨지 않았어요.

그다음에 현재 진행 중인 안전성 평가를 외부 평가를 하겠다. 그래서

지원 접수를 좀 전에 말씀드렸던 1월

10일까지. 그리고 보안 연구원 프로그램. 그래서 전문 보안 연구원

대상으로 조기에 접근해서 프로그램을 운영할 수 있도록 해보겠다. 그리고 제

3자 테스트 기관과 협력해서, 독립적인 테스트 기관과 협력을 통한 객관적인

평가를 진행하겠다, 이런 것은 예를

들면서 자기들끼리 객관적으로 평가할

필요 없거든요. 평가는 각 많은 인공지능 업체 스스로

픽이나 제미나이, 로이나, 미스이까 뭐 내부 그... 그게 아닌데 뭐

조금... 하여튼 제3자 테스트 기관을 가지고 협력을 하겠다, 이런 게 별로

마음에 안 듭니다. 실시간 모니터링, 그다음에 성능

모니터링을 해서 여러분들 커뮤니티에

의견을 수렴하고 실제 사용 사례를 분석하여 뭐 이렇게 평가한다, 뭐

수사적인 거죠. 향후 평가 계획 공개,

출시 전 검증. O3 미니는, O3 미니는 2025년

1월 말 예정이고요. 안전성 검증은 또

그리고 O3 미니 출시 이후에 확장 안정성 테스트를

거쳐서 내놓겠다는 겁니다. ARC 대담과 협력하여 새로운

프론티어 벤치마크를 개발할 예정입니다.

이런 게 마음에 안 드는 거예요. 왜 자기가 스스로 벤치마크, 평가 기준을

자기가 시험 문제 내고 자기가 답을 맞추는 거 마찬가지죠. 안 그래도 지금

최근 연구 논문에 의하면 학습된 지식을 반복해서 적용하는 거지, 패턴을

오픈AI 라이브 라스트   O3 발표에 대한 평가

인공지능아재의 인공지능아카데미

OpenAI 라이브 121회 종료 및 O3 프로젝트 소개

OpenAI 라이브 121회 종료 소식 전달

O3 오리온 프로젝트 예고 및 내년 초 출시 예정

원 프로젝트와 오리온 프로젝트는 별개의 프로젝트로 출시

높은 성능 발표에도 불구하고, 최신 논문에서 LLM 업체들의 과대 광고 지적

GPT 플러스에 대한 부정적 평가 및 실제 테스트 결과 언급

GPT-4의 파일 업로드 기능에 대한 비판적 분석

GPT-4의 파일 첨부 기능(최대 10개) 소개

읽지 못하는 파일도 업로드 가능한 점 지적

읽지 못하는 데이터 업로드 이유에 대한 개인적 의견 제시 (사용자 데이터 학습 의도 추측)

O3 미니 성능 및 기능에 대한 구체적 평가

소프트웨어 개발 능력, 고성능 컴퓨팅 설정, 전문 프로그램 성능 발표

O3 미니 성능 향상 및 비용 효율성 개선 언급

수학 능력 평가 결과 및 향상된 수학 능력 언급

과학 능력 평가 결과 및 박사 전문가 평균과 비교

미니의 효율성 평가 및 추론 노력 수준별 성능 분석

미니의 API 기능 지원 및 안전성 테스트 계획 언급

OpenAI의 평가 방법 및 향후 계획에 대한 비판적 시각

자체 벤치마크 및 평가 기준 설정에 대한 문제점 지적

학습된 지식의 반복적 적용 및 진정한 추론 부족 지적

데이터 부족 문제 해결을 위한 사용자 데이터 활용 의혹 제기

GPT의 정확한 정의 부재 및 사용자 데이터 활용 가능성 언급

자체 평가에 대한 불신 및 객관적 평가의 중요성 강조