Pythagora로 풀스택 LLM 벤치마킹 애플리케이션 구축하기

### Pythagora로 풀스택 LLM 벤치마킹 애플리케이션 구축하기
* 🚀 이 튜토리얼에서는 **1,600줄의 코드로 Pythagora를 사용하여 2시간 이내에 풀스택 LLM 벤치마킹 애플리케이션**을 구축하는 방법을 보여드리겠습니다.
* 💻 프로젝트는 **VS Code에 Pythagora 확장 프로그램을 설치**하고 **Node.js를 비롯한 필요한 코드 프레임워크**를 설정하는 것으로 시작됩니다.
* 📝 저는 사용자가 미리 정의된 일련의 질문에 대해 다양한 대규모 언어 모델(LLM)을 테스트할 수 있는 **벤치마킹 애플리케이션**을 만들어 단순한 프로젝트가 아닌 합법적이고 유용한 애플리케이션임을 강조할 것입니다.
* 🔑 사용자 인증 및 관리자 대시보드를 포함한 앱의 기능을 자세히 설명한 후 개발 프로세스를 안내하는 광범위한 프롬프트를 **Pythagora에 붙여넣겠습니다.**
* 🛠 Pythagora의 에이전트는 개발팀에서 다양한 역할을 맡게 되는데, **아키텍트 에이전트는 Node.js 및 MongoDB와 같은 기술을 결정**하고 **스펙 작성자는 프롬프트의 복잡성을 확인**하는 역할을 맡게 됩니다.
* 🔍 Pythagora와 상호작용할 때 **API 키 등 필요한 입력**을 요청하고, 작성 중인 코드에 대한 **실시간 업데이트**를 제공하면서 디버깅을 도와줍니다.
* 📊 이 과정에서 **테스트를 실행**하고 사용자 등록이 제대로 작동하는지, 관리자 대시보드가 올바르게 표시되는지 확인하여 앱의 기능을 검증합니다.
* 🔄 반복적인 개발 주기를 통해 **역할 관리 및 페이지 매김과 같은 기능**을 추가하는 등 지속적으로 개선하여 궁극적으로 실제 요구 사항을 충족하는 강력한 애플리케이션을 완성할 수 있습니다.

### Pythagora로 풀스택 벤치마크 테스트 애플리케이션 구축하기
* 🛠 이 프로세스는 **테스트 이름이 삭제되는 초기 문제가 발생**하여 버그 조사를 촉발한 **Open AI GPT-4 Turbo를 테스트**하는 것으로 시작되었습니다.
* 🔍 팀에서 문제를 해결하던 중 **샘플 데이터에 필수 이름 필드가 포함되어 있지 않아 테스트 이름이 누락**되었다는 사실을 발견했습니다.
* ✅ 문제를 해결한 후 테스트 생성 양식을 업데이트하여 **테스트 이름을 입력**하도록 하여 사용자 환경을 개선했습니다.
* 📊 이 팀은 **테스트 실행을 위한 실시간 진행 상황 추적**을 성공적으로 구현하여 사용자가 테스트 상태를 실시간으로 확인할 수 있도록 했습니다.
* ⚙ 이후 테스트 결과, 테스트가 성공적으로 게시되었음에도 불구하고 **오류가 발생하는 게시 기능의 버그**가 발견되어 추가 디버깅을 진행했습니다.
* 📈 몇 번의 반복과 개선 끝에 애플리케이션이 완벽하게 작동하여 **사용자가 원활하게 테스트를 생성, 실행 및 게시**할 수 있게 되었습니다.
* 🌐 마지막 단계는 웹에 애플리케이션을 실시간으로 배포하는 것으로, **코드를 직접 작성하지 않고도 다양한 LLM에 대한 벤치마킹 테스트에서 애플리케이션의 기능**을 보여 주는 것이었습니다.
* 🎉 이 프로젝트는 다양한 파일에 걸쳐 **총 1,637줄의 코드**를 작성하여 복잡한 애플리케이션을 효율적으로 구축하는 Pythagora의 강력한 기능을 보여주었습니다.

Pythagora를 사용하면 2시간 이내에 풀스택 LLM 벤치마킹 애플리케이션을 손쉽게 구축할 수 있습니다.

Build Full Stack Apps Without Writing ANY Code (Pythagora Tutorial)

Artificial Intelligence (AI), Open Source, Generative Art, AI Art, Futurism, ChatGPT, Large Language Models (LLM), Machine Learning, Technology, Coding, Tutorials, AI News, and more

** Exclusive Pinecone Partner **

Matthew Berman

이 동영상은 2시간 이내에 1,600줄의 코드로 Pythagora를 사용하여 풀스택 LLM 벤치마킹 애플리케이션을 구축하는 방법을 보여줍니다.

이 애플리케이션은 사용자 인증, 관리자 대시보드, 테스트 생성 및 게시 기능을 갖춘 일련의 테스트 문제에 대해 다양한 대규모 언어 모델을 테스트하는 것을 목표로 합니다.

Pythagora의 반복적인 접근 방식은 다양한 개발 역할을 처리하는 여러 에이전트를 포함하므로 프로세스를 효율적이고 협업적으로 만듭니다.

사용자 모델 업데이트 및 관리자 사용자 만들기

기본값이 뷰어인 역할 필드를 포함하도록 사용자 모델이 업데이트되고 있습니다.

개발자 에이전트가 진행률 표시줄과 추적용 로그와 함께 새 코드를 작성하고 표시하고 있습니다.

사용자를 등록하고, 데이터베이스 항목을 확인하고, 스크립트를 통해 관리자 사용자를 생성하여 애플리케이션을 테스트하고 있습니다.

Code Monkey로 실제 애플리케이션 구축하기

코드 몽키 에이전트가 프로세스의 각 단계를 설명하면서 실시간으로 코드를 업데이트하고 있습니다.

빌드 중인 애플리케이션에는 사용자 역할 관리, 테스트 데이터 모집단, 테스트 항목 삭제 버튼이 있는 관리자 대시보드가 포함되어 있습니다.

워크플로가 원활하고 효율적이어서 작업을 빠르게 진행하고 테스트할 수 있으며, 궁극적으로 종합적인 실제 애플리케이션을 만들 수 있습니다.

테스트 및 디버깅 테스트 생성 기능

테스트를 채우는 스크립트가 처음에는 테스트를 추가하는 대신 5개의 테스트를 다시 생성하여 문제를 일으켰습니다.

기존 테스트를 삭제하지 않고 새 테스트 5개를 추가하도록 코드를 업데이트하여 문제를 해결했습니다.

테스트 생성 양식은 성공적으로 구현되었지만 버그로 인해 테스트 이름이 삭제되어 문제를 파악하기 위해 추가 디버깅 및 로깅이 필요했습니다.

디버깅 및 테스트 테스트 실행 흐름

처음에는 샘플 데이터에 이름 필드가 포함되어 있지 않아 테스트 이름이 누락되었지만 앱 시작 후 페이지를 새로 고치면 문제가 해결되었습니다.

테스트 이름을 입력하도록 테스트 생성 양식을 업데이트하고 테스트 실행을 위한 백엔드 로직을 구현했습니다.

테스트 실행을 위한 실시간 진행률 추적을 테스트한 결과, 여러 LLM을 사용할 때 진행률 표시줄이 나타나지만 코드가 LLM을 효과적으로 활용하고 있는지 불분명했습니다.

테스트 실행이 성공적으로 이루어지고 있으며 진행 상황 업데이트와 상세 로그가 추가되고 있습니다.

테스트 결과를 데이터베이스에 저장하는 문제가 해결되어 Anthropics를 사용한 평가 프로세스가 구현되고 있습니다.

그러나 테스트 페이지에서 오류가 발생했는데, 이를 쉽게 찾아내 해결하여 테스트가 성공적으로 실행되고 정확한 결과가 표시되고 있습니다.

테스트 페이지 애플리케이션 빌드 및 디버깅

테스트 보기 페이지 및 막대 차트와 같은 기능이 구현되는 등 애플리케이션이 순조롭게 진행되고 있습니다.

코드 원숭이는 더 나은 기능을 위해 스스로 반영하고 코드를 다시 작성하고 있습니다.

애플리케이션이 실시간으로 오류를 식별하고 수정하는 등 디버깅은 원활하게 진행되고 있지만 게시 버튼과 관련된 지속적인 문제로 인해 추가 로깅과 사람의 개입이 필요해 해결을 위해 노력하고 있습니다.

Pythagora로 풀스택 애플리케이션 구축하기

이 프로세스에는 백엔드 및 프론트엔드 로그를 복사하여 문제를 해결하고 버그를 수정하여 성공적으로 테스트를 게시하는 과정이 포함되었습니다.

그런 다음 애플리케이션은 게시를 위한 백엔드 로직을 구현하고 게시된 테스트를 표시하도록 홈페이지를 업데이트하여 인증되지 않은 사용자도 볼 수 있도록 했습니다.

마지막으로 이 프로젝트는 총 1,637줄의 코드만 작성하여 웹에 손쉽게 라이브 배포되어 풀스택 애플리케이션 구축의 용이성을 보여주었습니다.