LLM 시스템 구축 시 간과하기 쉬운 교훈

### LLM을 사용한 구축의 간과된 측면: 평가, 기준선 및 지속 가능한 파이프라인
* 📊 많은 팀이 개발 주기 내내 반복적으로 수행하지 않고 **개발이 끝날 때만 평가**를 실시하는 등 평가는 종종 소홀히 다뤄집니다.
* 🔍 BM25와 같은 기준 모델은 문서 검색 작업에서 **'주스'의 상당 부분**을 캡처할 수 있습니다.
* 🔄 모델은 계속 발전할 것이지만 **평가 프로세스, 검색 시스템, 미세 조정 파이프라인은 보다 내구성 있는 구성 요소**이므로 지속 가능한 파이프라인을 구축하는 것이 핵심입니다.
* 🧠 Eugene은 **개발 주기 전반에 걸쳐 평가를 통합**하는 것이 중요하다고 강조합니다.
* 🔍 BM25는 **관련 문서의 상당 부분을 캡처하는 많은 검색 작업**에서 간단하고 효과적인 기준선으로 권장됩니다.
* 🔄 장기적인 성공을 위해 **평가 프로세스, 검색 시스템, 파이프라인 미세 조정**을 포함하는 강력한 파이프라인을 구축하는 것이 중요하다는 점을 강조합니다.

### AI 애플리케이션 개발에 대한 협업 인사이트: 다각적 관점의 분석
* 🤝 다양한 배경을 가진 AI 전문가들의 협업으로 **AI 애플리케이션 개발에 대한 종합적인 보고서**가 탄생했습니다.
* 📊 이 보고서는 **AI 개발에서 데이터 중심 접근 방식과 문제 프레임워크의 중요성**을 강조합니다.
* 🧠 이 보고서의 인사이트는 전통적인 AI 엔지니어링 역할에 도전하고 **"AI 애플리케이션 개발자"라는 새로운 개념**을 제안합니다.
* 🔍 팀은 작성 과정에서 충돌을 최소화하면서 **핵심 원칙에 대한 합일점**을 찾았습니다.
* 🌐 이 보고서의 영향력은 **업계를 넘어 학계와 더 광범위한 AI 커뮤니티**에까지 미쳤습니다.
* 👩 인프라부터 연구까지 다양한 전문성을 갖춘 이 팀은 **AI 개발에 대한 균형 잡힌 관점**을 제시하는 데 기여했습니다.
* 💬 현재 진행 중인 논의에는 **AI 애플리케이션 개발에서 명확한 API 구분의 필요성**이 포함됩니다.
* 🤔 AI 애플리케이션 개발의 향후 과제와 기회는 **팀에서 적극적으로 모색**하고 있습니다.

### LLM 개발에서 미세 조정 및 데이터 반복의 힘
* 🤖 소규모 모델을 미세 조정하는 것이 장기적으로 **비용 효율성과 성능 면에서 더 효과적**일 수 있지만, 그 효과에 대한 의견은 다양합니다.
* 🏗 미세 조정은 사용 사례가 좁고 **모델 드리프트가 최소화되는 특수한 작업**에 특히 유용합니다.
* 👥 기술뿐만 아니라 사람과 비즈니스 고려 사항이 **미세 조정 프로젝트의 성공 여부**를 결정짓는 경우가 많습니다.
* 📊 LLM(대규모 언어 모델)은 **품질이 낮은 학습 데이터를 개선한 사례**에서 알 수 있듯이 데이터 문제를 해결할 수 있습니다.
* 🔄 합성 데이터 생성 및 휴먼 인 더 루프 프로세스는 **LLM 학습 데이터를 확장하는 데 매우 중요**합니다.
* 🔍 모델 평가를 위해 **생산 데이터를 다시 가져올 수 있는 기능**과 같은 프로세스 수준의 고려 사항은 LLM의 성공을 위한 핵심 요소입니다.
* 🧠 데이터와 실험을 빠르게 반복하고 이러한 프로세스를 추적 및 관리하는 능력은 **효과적인 LLM 개발**을 위해 필수적입니다.
* 🛠 LLM 운영 환경에서는 **프로덕션 데이터를 수집하는 강력한 백엔드**와 이 데이터와 상호 작용하는 **사용자 친화적인 프런트엔드**가 중요한 구성 요소입니다.

### AI 기반 애플리케이션의 미래 업계 전문가의 인사이트
* 🤖 업계 전문가들이 **LLM과 로보틱스를 포함한 AI 기반 애플리케이션의 미래**에 대해 논의합니다.
* 📊 AI 소프트웨어를 배포할 때 **이해관계자 및 사용자와의 신뢰 구축**의 중요성이 강조되고 있습니다.
* 🧠 LLM 작업의 핵심 기술에는 **데이터 분포를 이해**하고 **시맨틱 콘텐츠에 집중**하는 것이 포함됩니다.
* 🛠 프로젝트 목표 달성을 위해서는 **모델뿐 아니라 시스템 구축**이 중요하다는 점이 강조되고 있습니다.
* 🔬 복잡한 AI 시스템을 구축할 때는 **검증된 반복적 개선**이 핵심 접근 방식으로 권장됩니다.
* 💡 앞으로의 흥미로운 개발 사항으로는 **멀티모달 모델, Excel과 같은 AI 도구의 대중화, 메모리 확장기** 등이 있습니다.
* 📚 초보자를 위한 조언에는 **AI 프로젝트에 대한 읽기, 구축 및 공유**가 포함됩니다.
* 🙏 전문가들은 **자신의 작업에 대해 토론**하고 커뮤니티와 인사이트를 공유할 수 있는 기회에 감사를 표합니다.

이 보고서는 LLM의 실제 적용 사례를 다루며 종종 간과되는 중요한 교훈을 강조합니다. 개발 주기 전반에 걸친 평가, 기준점 검색을 위한 BM25, 일시적인 모델보다 내구성 있는 시스템을 우선시하는 것이 핵심입니다.

Lessons from a Year of Building with LLMs

Vanishing Gradients

유진 얀, 슈레아 샨카, 하밀 후세인과의 LLM에 대한 토론

이 그룹은 대규모 언어 모델(LLM)에 대한 관심과 실제 적용 사례에 대해 논의하며, Eugene은 추천 시스템에 LLM을 사용하는 데 중점을 두고, Shrea는 지능형 소프트웨어와 LLM을 사용한 빠른 반복의 중요성을 강조하며, Hamil은 LLM과 함께한 오랜 역사와 강력한 기술에 대해 이야기합니다.

또한 LLM을 기반으로 AI 제품을 구축하고 개발하면서 얻은 중요한 교훈에 대해 이야기하며, 개발 시 간과하기 쉬운 측면을 강조합니다.

대규모 언어 모델(LLM)로 소프트웨어 개발 가속화하기

대규모 언어 모델(LLM)은 소규모 팀으로 소프트웨어 개발 수명 주기와 애플리케이션 출시 속도를 높일 수 있습니다.

이 보고서에서는 6명의 저자가 협력하게 된 배경과 각자의 아이디어를 통합하여 LLM에 대한 전술적, 운영적, 전략적 인사이트를 제공한 방법에 대해 설명합니다.

또한 이 보고서는 LLM 결과물 품질을 평가하는 독특한 접근 방식을 강조하여 실제 데이터 문제를 해결하고 평가 전략을 가르치기 위한 시각적이고 접근하기 쉬운 방법을 제공합니다.

Sha는 소규모 AI 팀과 초기 단계 제품에 LM 기반 평가를 사용하여 진행 상황을 빠르게 평가할 것을 강력히 지지합니다.

Hamill은 AI 개선을 측정하는 데 있어 평가의 중요한 역할과 프로세스에 대한 체계적인 접근 방식의 필요성을 강조합니다.

유진은 기존 소프트웨어 엔지니어의 기본 평가 교육에 대한 간과된 필요성과 품질 평가의 기준을 낮춰 AI 모델을 실제 생산에 적용하는 방향으로의 전환을 강조합니다.

제너레이티브 AI에서 AI 엔지니어링에 대한 오해

제너레이티브 AI 개발자들은 생산 프로세스보다는 데모 시연에 집중하는 경우가 많기 때문에 제대로 된 평가가 이루어지지 않는 경우가 많습니다.

업계가 도구와 인프라에 지나치게 집중하다 보니 생산 프로세스를 학습하는 데 소홀해져 AI 배포에 상당한 어려움을 겪고 있습니다.

평가와 데이터 해독 능력의 필요성보다 툴을 강조하는 AI 엔지니어 역할에 대한 서술은 인재 격차를 만들고 AI 발전을 저해했습니다.

개발 주기 전반에 걸쳐 제품을 평가하고, BM25를 검색 기준으로 삼고, 지속적으로 변화하는 모델보다 시스템의 내구성을 우선시하는 것이 핵심적인 교훈입니다.

생산 및 개발 주기를 간소화하기 위한 사전 평가의 중요성과 함께 일반적인 지표가 아닌 도메인별 평가의 필요성이 강조됩니다.

디버깅 및 성능 개선을 위해 데이터를 수동으로 살펴보는 것의 중요성에 대한 이해의 격차가 논의되며, AI가 이 프로세스를 완전히 자동화할 수 있다는 오해에 대해 강조합니다.

AI 엔지니어를 위한 데이터 해독 능력의 중요성

브라이언 비쇼프는 데이터 해독 능력과 사려 깊은 프로세스에 중점을 두는 독특한 방식으로 AI 엔지니어를 채용하여 일반적인 채용 방식과 차별화합니다.

데이터 탐색과 실험을 위해 노트북을 사용하는 것을 강조하는 그의 모습은 AI 엔지니어링 분야에서 이 도구가 얼마나 중요한지 잘 보여줍니다.

이진 지표를 통해 AI 결과물을 평가하는 것은 복잡한 평가 척도에 비해 더 간단하고 효과적인 방법으로 제안되며, 평가 프로세스에 대한 귀중한 인사이트를 제공합니다.

AI와 머신러닝의 실제 작업은 데이터 분석이라는 지루한 작업이 중요한 부분임에도 불구하고 밈 문화에서 잘못 표현되는 경우가 많습니다.

합성 데이터와 브레인스토밍 테스트는 실제 사용자 데이터 없이도 AI 애플리케이션을 평가할 수 있는 방법입니다.

LM의 잠재적 영향력은 분류 및 정보 추출과 같이 안전하지 않고 느린 작업을 AI에 위임하여 저비용으로 대규모 솔루션을 제공하는 데 있습니다.

AI 개발에서 사려 깊은 UX의 중요성

사용자가 완전한 실패를 경험하지 않고 작업을 편집하고 지원할 수 있도록 AI의 우아한 실패 모드를 갖추는 것은 매우 중요합니다.

최종 사용자가 프로그래머처럼 행동할 수 있는 능력과 노트북과 같은 인터페이스를 사용할 수 있다는 것은 AI 기술의 흥미로운 발전입니다.

브라이언과 찰스 모두 AI 기술의 단계적 변화에 열정을 가지고 있으며, 이것이 가장 중요한 작업이라고 믿고 있습니다.

공동 프로젝트에서 얻은 귀중한 인사이트

이 그룹은 프로젝트에서 함께 일하면서 소중한 인맥과 강한 공동체 의식을 얻었습니다.

이들은 주제의 다른 측면에 대해 작업했음에도 불구하고 높은 수준의 조율과 충돌이 거의 없다는 사실에 놀랐습니다.

이 경험은 만족스럽고 고무적이었으며, 학계와 같은 예상치 못한 청중에게까지 전달되는 가치 있고 영향력 있는 최종 결과물로 이어졌습니다.

데이터 과학 교육은 전통적인 수학과 통계학과에서 벗어나 AI로 전환하면서 빠르게 진화하고 있습니다.

데이터 중심 AI 애플리케이션 개발자가 부상하면서 데이터 과학 졸업생들을 흡수할 것으로 예상됩니다.

데이터 과학자와 AI 애플리케이션 개발자의 기술 세트는 매우 유사하여 두 분야가 밀접한 관련이 있음을 나타냅니다.

이 채용 공고에서는 지원자가 프로덕션 스택에 기여하고 TypeScript 또는 Python에 능숙해야 한다는 점을 강조하고 있습니다.

AI 엔지니어링에 관한 블로그 게시물은 데이터 분석에 충분히 초점을 맞추지 않고 해당 업무를 수행할 수 있는 사람을 너무 포괄적으로 규정하고 있다는 비판을 받고 있습니다.

팀원들 사이에서는 모델 미세 조정의 효과에 대한 논쟁이 벌어지고 있으며, 일부는 주저하는 반면 다른 팀원들은 이에 대해 더 낙관적인 입장을 보이고 있습니다.

AI 모델에서 미세 조정의 중요성

특히 사용 사례가 좁고 작업에 전문 기술이 필요한 경우, AI 모델 배포에 있어 미세 조정은 매우 중요합니다.

고품질 평가 프레임워크가 지원하는 미세 조정의 속도와 자동화는 프로세스를 간단하고 효율적으로 만들 수 있습니다.

미세 조정된 모델을 신속하게 배포하는 능력은 회사의 내부 프로세스와 관련된 사람들의 의지에 따라 크게 달라집니다.

모델 훈련에서 관련 프롬프트의 중요성

과도한 토큰 대신 관련 프롬프트를 사용하면 모델 성능을 크게 향상시킬 수 있습니다.

프롬프트의 내용과 구조를 검토하는 것은 AI 시스템을 평가하고 개선하는 데 매우 중요합니다.

상담원에게 유용한 추천을 제공하고 프롬프트의 효과를 평가하는 데 집중하면 모델 학습에서 더 나은 문제 해결을 이끌어낼 수 있습니다.

RAG와 REXUS 시스템에서 랭킹의 중요성에 대한 논쟁이 벌어지고 있으며, 일부에서는 추천을 위한 더 긴 컨텍스트 창을 주장하기도 합니다.

이 논의에는 두 시스템 간의 이분법과 해당 분야에 대한 뉘앙스와 친숙함의 필요성도 포함됩니다.

이 대화에서는 쿼리 생성에서 R(검색)의 사용과 추천 시스템에서 검색 평가의 중요성에 대해 다룹니다.

대규모 언어 모델을 사용하여 데이터 생성 차단 해제하기

대규모 언어 모델을 사용하여 예제에 레이블을 지정하고, 비평을 작성하고, 데이터 품질을 개선하여 데이터 생성 프로세스의 막힘을 효과적으로 해소할 수 있습니다.

필립과 같은 도메인 전문가의 전문 지식을 활용하면 신속한 엔지니어링을 통해 언어 모델을 그들의 판단에 맞출 수 있습니다.

이러한 접근 방식을 통해 고품질의 합성 데이터를 생성하고 모델을 미세 조정하여 인상적인 결과를 도출할 수 있습니다.

사람을 사용하여 데이터 세트를 부트스트랩한 다음 판단자로서 언어 모델을 보정하는 프로세스는 데이터 차단을 해제하는 강력하고 가치 있는 방법임이 입증되었습니다.

LLM 운영에서 방법론과 프로세스의 중요성

성공적인 LM 시스템 구축을 위해서는 프로덕션에서 정보를 가져올 수 있는 능력이 중요하며, Honeycomb과 같은 도구와 전문 LLM 운영 도구가 이 과정에서 중요한 역할을 합니다.

실험 중심의 워크플로, 간편한 평가 프로세스, 실험을 추적하고 반복할 수 있는 기능은 LM 운영에서 실험 문화와 성공을 지원하는 데 필수적입니다.

LLM 운영 도구의 경우, 프로덕션에서 정보를 수집하는 강력한 백엔드와 데이터와 상호 작용하는 사용자 친화적인 프론트엔드를 갖추고 팀의 리소스와 전문성에 따라 구축하거나 구매할 수 있는 옵션이 중요합니다.

애플리케이션 개발에서 트레이스 뷰어의 중요성

추적 뷰어는 애플리케이션, 특히 마이크로서비스 아키텍처에서 문제를 쉽게 식별하고 해결하는 데 필수적입니다.

제어 흐름과 추적 로그에 이벤트를 사용하는 것은 두 가지 모두의 필요성이 유사하다는 것을 보여주지만, 추적 뷰어는 시각화에서 추가적인 가치를 제공합니다.

사람의 입력과 반자동 보강을 허용하는 추적 뷰어의 보강 방향은 평가를 위해 생산 정보와 제품 데이터를 한데 모아 애플리케이션 개발에서 중요한 도구가 됩니다.

AI 실험을 위한 Lang Smith와 Weave에 대한 Brian의 피드백

브라이언은 현재 Lang Smith에 대한 관심은 없지만 잠재적 가치와 향후 고려할 가능성은 인정합니다.

특히 노트북 중심의 접근 방식과 가중치 및 편향성 에코시스템과의 통합에 대해서는 열의를 보였습니다.

Brian은 AI 애플리케이션에서 이해관계자 및 사용자와의 신뢰 구축의 중요성을 강조하며, 처음부터 디자이너와 도메인 전문가의 참여를 핵심 전략으로 제시합니다.

애플리케이션 설계에서 점진적 개발의 중요성

점진적 개발은 반복적인 사용자 상호작용을 통해 문제를 발견할 수 있으므로 초기 대규모 출시보다 더 가치가 있습니다.

사용자 피드백은 너무 비밀스럽거나 출시까지 너무 오래 기다리는 것에 대한 해독제로서 강조됩니다.

프로젝트 목표를 달성하려면 구성 가능성에 중점을 두고 컨텍스트 구성에 대한 이해를 바탕으로 시스템을 구축하는 것이 중요합니다.

LLM 작업에서 데이터 해독 능력과 개념 이해의 우선 순위 지정

데이터 의미론에 대한 깊은 이해는 LLM을 사용하는 사람들에게 매우 중요합니다.

소프트웨어 엔지니어와 데이터 과학자는 컴퓨터 시스템에 대한 지향점이 다르기 때문에 관점의 전환이 필요합니다.

데이터 배포가 잘못된 경우를 식별할 수 있는 직관력은 데이터에 대한 경험과 광범위한 작업을 통해 얻을 수 있는 귀중한 기술입니다.

로보틱스 및 AI 개발의 주요 과제

로봇공학의 핵심 과제는 역학이나 정책 학습이 아니라 인간의 입력을 기계에 통합하는 것입니다.

멀티모달 모델에 대한 더 많은 연구가 필요하고 인간과 기계 간의 정보 전달 격차를 좁혀야 합니다.

AI 개발의 핵심은 더 많은 사용자가 기술을 더 쉽게 접근하고 혜택을 누릴 수 있도록 하고, 첨예한 문제를 해결하고, 새로운 상호작용의 가능성을 실현하는 데 있습니다.

복잡한 시스템을 구축하려면 경사면 하강의 선과 같이 검증된 반복 개선이 필요합니다.

많은 자금으로 시작하여 고유한 기초 모델을 훈련하는 것이 중요합니다.

실험과 반복은 사용자에게 가치를 제공하기 위해 문제를 제한하는 것과 함께 성공을 위해 필수적입니다.

이 과정에는 0에서 1까지 단계별로 반복하고 각 단계에서 가치를 제공하는 데 집중하는 것이 포함됩니다.