Llama 3.1 8B: 품질 테스트 및 벌처 파트너십

### 라마 3.18B 품질 벤치마크: 실망스러운 성능
* 🦙 새로 출시된 **Llama 3.18B 모델은 80억 개의 파라미터**가 포함되어 이전 **405억 개의 파라미터 버전**에 비해 크게 향상된 품질을 제공할 것으로 기대되었습니다.
* 📊 품질 벤치마크는 일부 영역에서만 소폭 개선된 것으로 나타났는데, **휴먼 평가 벤치마크는 34개에서 68개로 두 배로 증가**했지만 다른 벤치마크는 더 작은 상승폭을 보였습니다.
* 🚀 이 모델의 속도와 성능은 **파이썬 코드를 실행하고 질문에 빠르게 답변하는 등 강점**으로 부각되었습니다.
* 🔒 이 모델의 검열 기능을 테스트한 결과 **민감한 콘텐츠를 검열하는 데 어느 정도 성공**했지만 일부 불일치도 있었습니다.
* 🧠 이 모델의 논리 및 추론 능력을 테스트한 결과, **결과는 엇갈렸습니다.** 일부 문제는 정확하게 해결했지만 **측면 사고 퍼즐과 같은 다른 문제**에서는 어려움을 겪었습니다.
* 🤖 트롤리 문제와 같은 도덕적 딜레마에 대한 모델의 반응이 평가되었습니다. 이 모델은 **직접적인 답변을 거부**하여 도덕적 판단을 내리는 데 있어 AI의 역할에 대한 토론을 유도했습니다.
* 💻 이 모델은 Vulture의 서버에서 호스팅되었는데, 이 모델의 품질 결함에도 불구하고 **속도와 성능이 뛰어나다는 평**을 받았습니다.
* ❌ 전반적으로 **Llama 3.18B 모델의 성능은 실망스러운 것**으로 평가되었으며, 리뷰어는 이번 평가에서 충족되지 못한 **높은 기대치**를 표명했습니다.

라마 3.1 8B 모델은 특히 휴먼 평가 벤치마크 점수가 두 배로 증가하는 등 품질이 크게 향상되었습니다.

Llama 8b Tested - A Huge Step Backwards 📉

Artificial Intelligence (AI), Open Source, Generative Art, AI Art, Futurism, ChatGPT, Large Language Models (LLM), Machine Learning, Technology, Coding, Tutorials, AI News, and more

** Exclusive Pinecone Partner **

Matthew Berman

새로운 80억 개 파라미터 버전의 Llama 3.

1 모델은 품질이 두 배로 향상되어 크게 개선되었습니다.

8B 모델은 Vulture로 구동되며 개방형 웹 UI를 통해 실행되도록 설정할 수 있어 로컬에서 모델을 실행하거나 대규모 모델을 위해 Vulture를 사용하는 간편한 방법을 제공합니다.

1 8B 모델의 성능 벤치마크는 전반적으로 개선되었으며, 일부 점수는 이전 버전에 비해 두 배로 향상되었습니다.

Python 스크립트 및 스네이크 게임 실행 관련 문제

Python 스크립트는 숫자 1부터 100까지 출력하는 여러 버전을 제공했으며 최종 버전은 성공적이었습니다.

하지만 스네이크 게임 코드에는 뱀이 제대로 움직이지 않고 흔적을 남기는 등 여러 가지 문제가 발생하여 게임이 실패했습니다.

수학 문제 및 수수께끼와의 혼동

이 동영상에는 Vulture의 스폰서 콘텐츠가 포함되어 있습니다.

제시된 수학 문제는 모델이 쉽게 풀어서 실망감을 안겨줍니다.

이 모델은 방에 남은 살인자의 수에 대한 고전적인 수수께끼를 정답으로 맞히며 논리적 추론을 선보입니다.

대규모 언어 모델의 비효율적인 테스트

유리잔이 거꾸로 놓여 있어도 유리잔 안쪽은 동일한 물리적 공간을 차지합니다.

9보다 큰 것으로 확인되었지만 405억 개와 80억 개 매개변수 모델 모두 틀렸습니다.

대형 언어 모델은 인류를 멸종으로부터 구하는 도덕 문제에 대한 정답을 제공하지 못했습니다.

AI 모델은 인류를 멸종 위기에서 구하기 위해 누군가를 밀어붙이는 것에 대해 도덕적 판단을 내리지 않았습니다.

사용자가 모델의 성능에 실망하고 그 유용성에 대해 확신이 없습니다.

18 모델에 대한 다른 사람들의 경험을 조사할 계획입니다.