반성 70b: 사기 논란 및 혐의

### 리플렉션 70b: 새로운 AI 모델을 둘러싼 논란의 해명
* 🧐 이 토론은 매트 슈머가 발표한 새로운 AI 모델인 **Reflection 70b**를 중심으로 진행되며, 이는 AI 커뮤니티 내에서 사기에 대한 논란과 비난을 불러 일으켰습니다.
* 📅 9월 5일, 슈머는 **Reflection 70b가 다양한 벤치마크에서 폐쇄형 소스 모델을 능가하는 세계 최고의 오픈소스 모델**이라고 주장하며 오픈소스에 액세스할 수 있는 허깅 페이스 링크를 제공했습니다.
* 🔍 그러나 얼마 지나지 않아 일부 전문가들이 이 모델의 벤치마크 점수에 의문을 제기하며 **결과가 부풀려지거나 오해의 소지가 있다**는 주장이 제기되면서 회의론이 제기되었습니다.
* 🎥 발표 후 저자는 **슈머와의 라이브 인터뷰**를 진행했고 나중에 자세한 테스트 영상을 녹화했지만 **오디오가 캡처되지 않는 기술적 문제**에 직면했습니다.
* 📉 독립적인 평가가 시작되면서 많은 사람들이 **이 모델의 성능이 당초 주장에 미치지 못한다**는 사실을 알게 되었고, **광고된 사양이 아닌 다른 모델을 혼합**하여 제작되었다는 주장도 제기되었습니다.
* 🤔 슈머는 허깅 페이스의 모델 가중치에 일부 문제가 있음을 인정하며 **업로드 오류 때문**이라고 설명했지만, 모델의 무결성과 투명성에 대한 의구심은 계속되었습니다.
* 📊 비평가들은 **슈머가 제공한 비공식 API가 모델의 실제 성능을 위장**할 수 있으며, 이로 인해 기만이라는 비난이 더 커질 수 있다고 지적했습니다.
* 💬 저자는 이 모델에 대한 초기의 흥분을 되돌아보고 향후 평가에서 **더 비판적인 접근 방식**이 필요한지 고려하며, 이러한 상황을 어떻게 헤쳐나갈 것인지에 대한 청중의 피드백을 요청합니다.

리플렉션 70b는 초기의 기대와는 달리 심각한 사기 의혹에 직면해 있으며, 그 진위와 성능에 대한 의구심이 제기되고 있습니다.

Reflection 70b Might Be Fake... Here's What We Know (and what I could have done better)

Artificial Intelligence (AI), Open Source, Generative Art, AI Art, Futurism, ChatGPT, Large Language Models (LLM), Machine Learning, Technology, Coding, Tutorials, AI News, and more

** Exclusive Pinecone Partner **

Matthew Berman

매트 슈머가 발표한 Reflection 70b는 훈련을 위한 리플렉션 튜닝을 사용하는 세계 최고의 오픈 소스 모델이라고 주장합니다.

이 모델의 출시는 특히 인상적인 벤치마크 점수에 대한 회의론에 부딪혔고, 사기라는 비난으로 이어졌습니다.

부정적인 신호에도 불구하고 저자는 낙관적인 태도를 유지하며 슈머의 해명을 기다리는 한편, 새로운 AI 모델을 다루는 자체적인 접근 방식을 반성하고 있습니다.

혁신가와 함께하는 라이브 스트리밍 및 LLM 테스트 비디오

작성자는 새로운 모델의 제작자를 라이브 스트림에 초대하여 혁신에 대해 논의하고 채팅의 질문에 답변했습니다.

라이브 스트리밍이 끝난 후 작성자는 모델의 데모를 사용하여 40분 분량의 테스트 동영상을 녹화했지만 마이크 문제가 발생하여 오디오가 들리지 않았습니다.

작성자는 테스트를 다시 녹화할 계획을 세웠고 나중에 허깅 페이스의 모델 반사 가중치가 여러 모델이 섞여 있어 혼동을 일으켰다는 사실을 발견했습니다.

AI 모델의 성능은 여러 번의 테스트 실패와 의심스러운 로직으로 일관성이 없었습니다.

초기에는 획기적인 성과가 있었다고 주장했지만, 결과를 복제하려는 독립적인 시도가 실패하면서 사기라는 비난으로 이어졌습니다.

이러한 불일치에 대한 CEO의 해명은 더 큰 의구심을 불러일으켰고, 이 모델의 실체에 대한 의문이 제기되었습니다.

매트 셰어와 리플렉션의 모델을 둘러싼 논란

Matt Scher는 모델 가중치를 혼동하고 비공식 API를 사용함으로써 허위 진술이라는 비난에 직면했습니다.

ai에서 모델을 테스트할 수 있는 공개 엔드포인트를 제공했으며 고정 프로덕션 버전을 개발 중입니다.

Scher의 Glaive에 대한 공개되지 않은 투자와 이 모델의 기반이 된 라마 3의 사용은 더 많은 의문을 불러일으키며 투명성과 해명의 필요성을 불러일으켰습니다.

리플렉션 70b 업데이트는 비공식 API 테스트가 공개된 버전과 일치하지 않는 등 일관성 없는 결과를 보여주었습니다.

Jim Fan의 게시물에서는 모델 훈련과 문제 생성을 조작하는 요령을 제시하면서 게임용 LLM 벤치마크의 용이성을 강조합니다.

모델 성능을 개선하는 방법으로 프롬프트 엔지니어링 및 앙상블 방법을 사용하는 것이 제안되며, 이러한 기법의 정당성에 대한 의문을 제기합니다.

매트 슈머와 함께 상황 평가하기

비공개 LLM 평가가 LM CIS에 게시되지 않아 사용자 투표가 부족하다는 문제가 있었습니다.

저자는 맷 슈머에게 의심의 여지를 주고 싶지만 증거가 그에게 유리하게 보이지 않는다는 점을 인정합니다.

저자는 새로운 모델을 취재하는 자신의 접근 방식을 반성하고 향후 이러한 상황을 어떻게 처리할 것인지에 대한 피드백을 구합니다.