OpenAI의 O1 모델: 새로운 추론 모델과의 경쟁

오픈소스 연구소에서 비슷한 발전된 모델을 빠르게 출시함에 따라 OpenAI의 추론 모델은 빠른 경쟁에 직면해 있습니다.

### 오픈 소스 추론 모델의 급속한 발전: OpenAI의 O1과의 비교
* 🚀 12월에 OpenAI는 최초의 추론 모델이라고 선전하는 **O1 모델**을 출시하면서 오픈 소스 대안이 얼마나 빨리 따라잡을 수 있을지 관심을 불러일으켰습니다.
* 🔍 최근 몇 주 동안 여러 기업이 개방형 모델을 출시하면서 이러한 진화하는 환경에서 **OpenAI의 경쟁력에 대한 의문**이 제기되고 있습니다.
* 📊 OpenAI의 O1은 **경시대회 수학 및 박사급 과학 문제와 같은 벤치마크**를 사용하여 평가되었으며, 훈련 방법론의 세부 사항은 아직 공개되지 않았지만 **고급 기능**을 보여주었습니다.
* 🧠 새로운 추론 모델은 기존의 자동 회귀 방식과 달리 추론 능력을 향상시키기 위해 **자가 학습 및 강화 학습**과 같은 기술을 사용하여 학습 후 프로세스가 다릅니다.
* 📈 특히 **딥시크 R1, 퀀퀀퀀, 마르코 O1 등 3개의 새로운 모델**은 O1 출시 후 **2개월에서 2개월 반 만에 출시**되어 개발 일정이 상당히 빨라졌음을 보여줍니다.
* 🔗 DeepSeek의 R1 모델은 **특정 벤치마크에서 O1 프리뷰를 능가하는 유망한 결과**를 보여주었으며, Qwen과 Marco 모델은 아직 **추론 기능을 개선**하고 있습니다.
* ⏳ 지속적인 발전은 **오픈소스 모델이 곧 독점 모델에 필적하거나 심지어 이를 능가할 수 있다**는 것을 시사하며, **1~2년 뒤처진다는 개념에 도전**하고 있습니다.
* 💡 경쟁이 가열됨에 따라 향후 몇 주 내에 **OpenAI가 전체 O1 모델을 출시**하여 추론 모델 분야의 경쟁이 더욱 치열해질 수 있습니다.

Open Reasoning vs OpenAI

HI my name is Sam Witteveen, I have worked with Deep Learning for 9 years and with Transformers and LLM for 5+ years.  I was appointed a Google Developer Expert for Machine Learning in 2017 and I currently work on LLMs and and since earlier in 2023 on Autonomous Agents. 

Sam Witteveen

OpenAI의 O1 모델과 이를 둘러싼 주장들

OpenAI는 첫 번째 추론 모델로 선포된 O1을 출시하고 O1 미니 및 O1 프리뷰를 선보였습니다.

O1 정식 모델의 출시가 예정되어 있습니다.

최근 여러 회사에서 유사한 모델의 오픈 웨이트 버전을 출시했습니다.

이 영상에서는 중국 오픈형 모델의 등장을 고려한 OpenAI의 경쟁력을 분석합니다.

OpenAI는 경쟁 수학, 코드 포스, Google이 검증한 박사급 과학 문제와 같은 벤치마크에 중점을 두었습니다.

OpenAI는 테스트 타임 컴퓨팅을 사용했으며, 사고의 연결 고리가 핵심 요소였습니다.

기존의 LLM은 대규모 사전 교육과 사후 교육(감독에 의한 미세 조정 또는 강화 학습에 따른 인스트럭션 튜닝)을 사용했습니다.

새로운 추론 모델은 추론 추적을 생성하기 위해 다양한 사후 학습(셀프 플레이 또는 RL) 및 추론 시간 계산을 사용합니다.

추론 시간에는 결론에 도달하기 위한 추론 흔적을 생성하고 채점하는 작업이 포함됩니다.

검증자 및 단계별 검증에 대한 OpenAI의 이전 연구가 언급되어 있습니다.

OpenAI의 주장과 오픈소스 모델의 빠른 발전

OpenAI는 그들의 접근 방식이 복제하기 어렵다고 제안했습니다.

O1 프리뷰에서는 오픈 소스 모델이 따라잡기까지 1~2년의 시차가 있을 것으로 예상했습니다.

OpenAI가 출시된 지 2주 만에 3개의 AI 랩에서 추론 모델을 출시했습니다.

이 동영상에서는 DeepSeek R1 lite, Qwen QwQ, Marco O1 모델을 분석합니다.

오픈소스 모델의 급속한 발전은 OpenAI의 주장에 도전장을 내밀고 있습니다.

일부 벤치마크에서 DeepSeek R1 라이트 프리뷰가 O1 프리뷰보다 더 나은 결과를 보여주었습니다.

딥시크의 성능은 벤치마크에 따라 다양했으며, 때로는 O1 프리뷰보다 뒤처지기도 했습니다.

테스트 시간 계산의 차이는 잠재적인 요인으로 지적됩니다.

DeepSeek의 모델은 추론 추적이 길어질수록 정확도가 향상됩니다.

DeepSeek는 아직 모델 가중치나 API를 오픈소스화하지는 않았지만 유료로 API 액세스를 제공하고 있습니다.

DeepSeek R1 라이트 미리 보기 테스트

테스트에는 모델의 오류 처리 능력을 평가하기 위해 일부러 '딸기'의 철자를 잘못 입력하는 것이 포함되었습니다.

'샐리에게는 네 명의 형제가 있다' 문제와 같은 논리 퍼즐에 대한 모델의 성능은 '깊은 생각' 기능의 유무에 따라 평가됩니다.

단어를 세분화하고 한 글자씩 분석하는 모델의 기능이 강조됩니다.

가상의 2차 세계대전 시나리오에서 모델의 성능을 분석합니다.

DeepSeek와 OpenAI의 모델 간의 추론 시간 비교에 대해 설명합니다.

Qwen QwQ의 벤치마크는 DeepSeek 및 OpenAI의 모델과 비교했을 때 엇갈린 결과를 보여줍니다.

딥서치와 동일한 질문에 대해 Qwen QwQ를 테스트한 결과 다양한 성능이 나타났습니다.

모델은 문제를 해결하려고 시도하는 동안 때때로 루프에 들어갑니다.

2차 세계대전 가상 시나리오에서 모델의 성능을 평가합니다.

Marco O1은 몬테카를로 트리 검색과 더 작은 기본 모델을 사용합니다.

모델의 사용 가능 여부와 릴리스된 데이터 세트가 표시됩니다.

흥미로운 생각의 사슬을 만드는 것의 중요성에 대해 논의합니다.

딥마인드의 관련 연구가 언급되어 있습니다.

추론 모델을 개발하는 독립 연구소의 빠른 발전이 두드러집니다.

빠른 팔로워가 리더를 따라잡는다는 개념에 대해 논의합니다.

OpenAI, Google, Meta의 향후 모델 릴리스에 대한 기대감을 표명합니다.

효율적인 테스트 시간 계산의 중요성이 강조되고 있습니다.

이러한 모델의 로컬 버전에 대한 잠재력에 대해 논의합니다.