불꽃놀이 F1: 새로운 LLM 성능 평가 미리보기

Fireworks의 F1 프리뷰는 로직 테스트에 어려움을 겪으며 실행되지 않은 코드를 생성하고 결과를 효과적으로 검증하지 못합니다.

### 불꽃놀이 F1 미리보기: 복잡한 추론 AI와의 첫 만남
* 🚀 Fireworks는 **142개의 모델 라이브러리**를 기반으로 복잡한 추론 작업에 탁월한 성능을 발휘하는 새로운 언어 모델인 **F1의 미리 보기**를 선보였습니다.
* 🧩 이 모델의 성능을 평가하기 위해 **OpenAI 및 DeepSeek와 같은 다른 모델에서 수행한 이전 테스트와 유사한 극한의 로직 테스트**를 통해 테스트했습니다.
* 🔍 테스트 기간 동안 F1은 **14개의 단서를 사용하여 올바른 연관성을 추론**하고 그 결과를 체계적인 형식으로 제시해야 했지만, 초기 결과물은 형식이 지정되지 않았고 자세한 설명이 부족했습니다.
* ⚠ 검증을 실행한 결과 **초기 결과에서 몇 가지 부정확한 부분**이 발견되어 논리적 추론에 어려움을 겪는 모델의 문제점이 드러났습니다.
* 💻 이 모델은 프로그래밍 방식으로 결과를 검증하기 위해 **Python 코드를 구현하려고 시도**했지만 코드를 실행하는 데 문제가 발생하여 조기에 중단되는 경우가 많았습니다.
* ⏳ 순열을 위한 복잡한 코드를 생성했음에도 불구하고 **모델이 이를 효율적으로 실행할 수 없어 처리 시간이 지나치게 길어진다**는 것이 분명해졌습니다.
* 📊 상대적으로 F1 모델은 정확하고 시기적절한 결과를 제공하는 데 어려움을 겪었기 때문에 **Sonet 및 OpenAI와 같은 경쟁사 대비 수학적 추론 성능이 저조**했습니다.
* 🤖 전반적으로 F1 프리뷰는 잠재력을 보여주었지만 **실행 및 추론 능력에서 상당한 한계**를 드러내 정식 출시 전에 더 많은 개선이 필요함을 시사했습니다.

NEW Fireworks AI: F1 Preview (& LIVE Logic Test)

A pure research channel (R&D). Code new Artificial Intelligence (AI) models with @code4AI - where complex AI concepts are demystified with clarity grounded in theoretical physics. Delve into the latest advancements in AI, from transformative Visual Language Models and Graph-Based AI Systems to cutting-edge Text-to-AI Game and interactive Video Environments. 

Our explanatory content bridges the gap between theoretical physics, computer science, and AI, offering deep insights into Large Language Models (LLMs) to Vision Language Action (AI Robotics). Discover new mathematical models powering the core of AI. New AI World Models. 



code_your_own_AI

파이어웍스 F1 LLM 및 로직 테스트 소개

복잡한 추론에 초점을 맞춘 Fireworks의 새로운 LLM, F1을 미리 만나보세요.

Fireworks는 대규모 모델 라이브러리(142개 모델)를 보유하고 있으며 F1은 크게 발전한 기능입니다.

LLM은 이전에 다른 모델에서 사용되었던 극단적인 로직 테스트를 사용하여 테스트됩니다.

이 테스트는 이전에 OpenAI, DeepSeek R1 light 등에 적용된 바 있습니다.

논리 테스트에는 15개의 단서가 포함되며 자세한 설명과 정리된 결과가 필요합니다.

파이어웍스 F1의 첫 로직 테스트 시도와 초기 오류

초기 결과는 형식이 지정되지 않고 불완전합니다.

첫 번째 시도에서 연결에 오류가 있음을 알 수 있습니다.

오류를 식별하고 수정하기 위해 확인 실행이 시작됩니다.

확인 과정에서 부정확한 부분이 더 발견됩니다.

수정에도 불구하고 추가 오류가 계속 발생합니다.

후속 시도, 코드 생성 및 실행 문제

다른 논리 분석 요청으로 세 번째 실행이 시도됩니다.

모델은 결과의 유효성을 검사하기 위해 Python 코드를 생성합니다.

이 코드는 단계별로 논리 퍼즐을 풀려고 시도합니다.

생성된 코드는 영역, 아티팩트 및 패밀리를 정의합니다.

코드 실행 중 토큰 제한이 발생하여 프로세스가 중단됩니다.

계속되는 코드 실행 시도 및 제한 사항

토큰 제한으로 인해 코드 실행 시도가 반복적으로 실패했습니다.

모델은 코드 실행을 완료하기 전에 일관되게 멈춥니다.

코드 실행이 반복적으로 중단되어 모델의 한계가 드러납니다.

발표자는 코드 자체가 아닌 최종 결과를 요청합니다.

발표자는 프리뷰 버전에서 발생할 수 있는 버그나 제한 사항에 대해 추측합니다.

이 코드는 Google Colab을 사용하여 외부에서 실행되며 수많은 순열을 보여줍니다.

외부 실행은 복잡성으로 인해 상당한 시간이 걸립니다.

F1의 성능을 다른 LLM과 비교한 그림이 나와 있습니다.

이 테스트는 F1의 수학적 추론과 코드 실행의 한계를 강조합니다.

영상은 파이어웍스 F1과의 첫 만남에 대한 요약으로 마무리됩니다.