당혹감: 인용 지원 결과를 통한 답변 검색의 혁신

답변 엔진인 Perplexity는 검색 결과를 결합하여 LLM에 공급하고, 학술 인용 그래프에서 영감을 받아 잘 인용된 답변을 제공합니다.

### 당혹감: 학술적 스타일의 답변 엔진으로 검색 혁신하기
* 🔎 퍼플렉시티는 학술 논문 작성 방식과 유사하게 출처가 뒷받침된 직접적인 답변을 제공하는 답변 엔진으로 가장 잘 설명할 수 있습니다. **검색과 대규모 언어 모델(LLM)을 결합**하여 검색 결과에서 관련 단락을 추출하고 인용이 포함된 잘 구성된 형식의 답변을 생성합니다.
* 🧠 챗봇이 인터넷에서 여러 출처에서 찾을 수 있는 말만 하도록 하는 아이디어는 **정확성을 보장**해야 한다는 필요성에서 비롯되었습니다. 이 원칙은 모든 편집에 신뢰할 수 있는 출처가 있어야 하는 **Wikipedia의 운영 방식**과 유사합니다.
* 💡 퍼플렉서티의 주요 기능은 구글을 이기는 것이 아니라 검색 엔진 UI를 재고하는 것입니다. **Perplexity는 링크를 주요 콘텐츠로 표시하는 대신 직접적인 답변을 제공**하는 데 중점을 둡니다. 시간이 지남에 따라 **기하급수적으로 개선되는 기술**을 활용하는 것이 목표입니다.
* 💰 퍼플렉시티의 장기적인 비즈니스 모델은 사용자 경험과 진실 추구에 타협하지 않으면서 광고를 통합하는 것이 어렵기 때문에 **광고에 의존하지 않을 수 있습니다**. **구독 수익 모델이 실행 가능한 대안**이 될 수 있습니다.
* 🚀 페이지랭크에 링크 구조를 활용하고 핵심 인프라와 연구에 집중하기 위해 많은 박사를 고용하는 등 **래리 페이지와 세르게이 브린의 구글 성공 방식**은 퍼플렉서티에 영감을 주었습니다.
* ⏱ 지연 시간은 제품 성공에 있어 매우 중요한 요소로, **이를 획기적으로 줄이면 사용자 경험에 큰 변화**를 가져올 수 있습니다. 검색창의 속도와 자동 스크롤 등 모든 세부 사항이 중요합니다.
* 🤔 퍼플렉서티의 가장 큰 과제 중 하나는 사용자가 **명료한 질문을 할 수 있도록 돕는 것**입니다. 관련 질문을 제공하고 탐구할 흥미로운 주제를 제안하면 질문하는 데 필요한 노력을 최소화하는 데 도움이 될 수 있습니다.
* 📏 제품이 성장함에 따라 **신규 사용자를 위한 디자인과 파워 유저를 위한 디자인 사이의 균형**을 맞추는 것은 중요한 과제입니다. **신규 방문자가 제품을 재방문할 가능성과 연관된 적절한 지표**를 찾는 것이 중요합니다.

### AI의 미래: AGI 구축 및 제어
* 🧠 AGI 구축의 핵심은 **사전 학습, 사후 학습, 반복적 추론**을 결합하는 것인데, 이는 마치 AI에게 세상을 탐험하고 답을 찾아서 돌아오라고 요청하는 것과 같습니다.
* 🔮 "이를 달성할 수 있다면 **AI 시스템이 서로 대화하고 서로 학습**하여 지능이 급격히 증가하는 **인텔리전스 폭발**이 일어나는 것과 같습니다."
* 💻 AGI는 모델의 가중치에 대한 액세스보다는 **AI를 구동하는 컴퓨팅에 대한 액세스**에 관한 것이며, 이는 여유가 있는 사람들의 손에 힘을 집중시킵니다.
* 🌍 "우려되는 것은 **AGI가 악당이 되어 세상을 장악하는 것**이 아니라, **AGI를 실행하는 데 필요한 강력한 컴퓨팅을 누가 제어하는가** 하는 것입니다."
* 🧠 인간은 본능적으로 호기심이 많고 세상을 이해하기 위해 흥미로운 질문을 하기 때문에 **인간의 호기심을 모방하는 것이 과제 중 하나**입니다.
* 🚀 "'스타' 논문은 AI가 단계별로 추론하도록 하는 **'생각의 사슬' 개념**을 소개하며, 이 접근 방식이 NLP 작업에서 AI 성능을 크게 향상시킨다는 것을 보여줍니다."
* "Microsoft는 추론에 중요한 토큰에 대해서만 훈련된 작은 언어 모델인 **'SLM'**을 연구하고 있으며, 대규모 모델에서 인텔리전스를 추출하여 **얼마나 멀리 갈 수 있는지 확인**합니다."
* 📈 "AI의 미래에는 사후 학습을 통해 모델을 지속적으로 개선하는 것이 중요할 것이며, **'스타' 논문의 접근 방식은 추론의 획기적인 발전**으로 이어질 수 있습니다."
* 🕰 "이 비전을 언제 달성할 수 있을지는 확실하지 않지만, **비전을 실현하는 데 필요한 모든 요소**가 갖춰진 것 같습니다."

### 당혹감: 세계에서 가장 지식 중심적인 회사 만들기
* 🧠 "단순한 검색이나 질문에 대한 답변이 아닙니다. **사람들이 새로운 것을 발견**하도록 돕고, 지식으로 안내하는 것입니다."
* 🔍 검색 증강 생성(RAG)은 사용자 쿼리를 기반으로 **답변을 작성하기 위해 관련 문서와 단락을 제공**하는 데 사용됩니다.
* 📚 인덱싱 프로세스에는 **웹을 크롤링**하고, **콘텐츠를 가져오고**, 검색 가능하도록 후처리하는 작업이 포함됩니다.
* ⚖ "검색은 **기존의 용어 기반 검색과 고급 언어 모델을 결합**해야 하는 어려운 문제입니다."
* 🤖 퍼플렉서티에 사용되는 LLM(대규모 언어 모델)을 교체할 수 있으므로 **정확한 답변을 제공하는 데 가장 적합한 모델**을 유연하게 선택할 수 있습니다.
* 🚀 "모델에 구애받지 않는 관점을 통해 사용하는 특정 모델에 관계없이 **사용자에게 좋은 답변**을 제공하는 데 집중할 수 있습니다."
* ⏱ "지연 시간은 핵심 초점이며, 모든 사용자, 특히 '후미'에 있는 사용자에게 우수한 성능을 보장하기 위해 **P90 및 P99 지연 시간**을 추적합니다."
* 💸 스타트업의 CEO 입장에서는 **사내 GPU 인프라 구축**에 투자할지, 아니면 **클라우드 제공업체에 컴퓨팅 용량**을 의존할지에 대한 결정을 내려야 합니다.

### 당혹감: 아르빈드 시바수브라마니암의 AI 지식 검색의 미래 구축에 관한 이야기
* 🧠 인간을 특별하게 만드는 호기심을 충족시키고 지식을 발견할 수 있도록 돕는 것이 Perplexity의 사명이라고 믿는 아르빈드 시바수브라마니암은 **인간에게 힘을 실어주는 것**을 목표로 삼고 있습니다.
* 💻 퍼플렉서티는 '인공지능 위키피디아'와 같은 기능으로 사용자가 다양한 주제에 대해 질문하고 학습할 수 있으며, **퍼플렉서티 페이지를 통해 사용자는 위키피디아 스타일의 페이지를 만들어 다른 사람들과 지식을 공유**할 수 있습니다.
* 🚀 시바수브라마니암은 AI 모델의 기능이 향상되면서 검색의 미래는 **AI가 사람들이 새로운 정보를 탐색하고 발견할 수 있도록 안내하는 지식 발견**으로 나아가고 있다고 믿습니다.
* 🤖 그는 인간이 AI 시스템과 깊은 정서적 유대감을 형성하는 미래를 상상하며, 잠재적인 이점을 인정하면서도 **인간의 외로움에 대한 AI 기반 솔루션의 위험성**에 대해서는 신중한 입장을 취하고 있습니다.
* 🌟 시바수브라마니암의 낙관적인 미래 전망은 **AI를 통해 이해를 높이고 편견을 줄이면 사람들 간의 관계, 평화, 사랑을 개선**할 수 있다는 믿음에 바탕을 두고 있습니다.
* 🚶 그는 알버트 아인슈타인의 말을 인용하며 발전과 이해를 촉진하는 데 있어 호기심의 중요성을 강조합니다: **"중요한 것은 질문을 멈추지 않는 것입니다."**
* 🏆 시바수브라마니암은 **"인공지능은 환각에 관한 것"**이라고 믿으며, 인공지능 챗봇이나 인공지능 여자친구 대신 진실과 지식 발견에 초점을 맞춘 제품을 만드는 **'더 어려운 길'**을 선택했습니다.
* 💬 그는 AI가 사람들이 일을 놀이처럼 느끼도록 도와주어 진정으로 관심 있는 활동에 참여하고 **다른 사람들과 진정한 관계를 구축**할 수 있는 세상을 꿈꿉니다.

Aravind Srinivas: Perplexity CEO on Future of AI, Search & the Internet | Lex Fridman Podcast #434

Lex Fridman

당황스러움: 온라인 질문 답변의 혁신

Perplexity는 출처가 뒷받침되는 인용이 잘 된 답변을 제공하는 혁신적인 답변 엔진으로, Google과 같은 기존 검색 엔진과 차별화됩니다.

검색 엔진과 대규모 언어 모델을 결합한 Perplexity는 직접 답변을 제공하고 여러 출처의 정보를 종합하여 사용자 경험을 개선하고 AI 기술을 통합할 수 있습니다.

CEO의 학구적인 배경과 정확한 정보에 대한 팀의 필요성은 단순한 답변 제공이 아닌 지식 발견에 중점을 둔 Perplexity의 개발로 이어졌습니다.

일상적인 검색을 위한 퍼플렉시티 AI와 구글의 비교

퍼플렉서티 AI는 직접 답변과 AI 기반 요약 정보를 제공하는 데는 탁월하지만 정확도와 속도에서는 아직 Google을 완전히 대체할 수 없습니다.

간단한 탐색 쿼리와 실시간 정보에 대해서는 여전히 Google이 더 효율적이고 신뢰할 수 있으며, 사용자 친화적인 방식으로 정보를 표시할 수 있는 능력을 갖추고 있습니다.

검색 공간의 혁신은 UI를 재고하고, 눈에 잘 띄는 링크보다 직접 답변을 우선시하며, 기하급수적인 기술 향상에 베팅하여 검색 공간에 변화를 가져오는 데서 비롯됩니다.

Google 애드워즈 비즈니스 모델 설명

Google의 주요 수익원은 광고주가 특정 키워드의 검색 빈도에 따라 검색 결과 상단에 링크가 표시되도록 입찰하는 애드워즈 비즈니스 모델입니다.

이 입찰 시스템의 높은 마진과 광고로 인한 거래로 인해 회사는 이익을 얻습니다.

애드워즈 모델은 브랜드 간의 경쟁을 기반으로 하며, 가장 높은 입찰가가 상위 광고 게재 순위를 차지하므로 사기성 업체가 결과를 독식하는 것을 방지하도록 설계되었습니다.

Google의 비즈니스 결정이 미치는 영향

Google이 클라우드 사업보다 광고에 집중하는 것은 클라우드와 전자상거래에서 높은 수익률을 추구하는 Amazon과 대조적으로 높은 수익률에 따른 것입니다.

Google의 AI 모델인 Perplexity에 광고가 통합되면서 사용자 신뢰와 경험을 유지하면서 대체 수익원을 모색해야 한다는 우려가 제기되고 있습니다.

초기 인터넷과 검색 엔진에 대한 래리 페이지와 세르게이 브린의 학문적 접근 방식과 혁신적인 전략의 영향은 Perplexity의 독특한 순위 모델을 개발하는 데 영감을 주었습니다.

구글의 철학이 소프트웨어 제품 성공에 미치는 영향

지연 시간을 줄이고, 사용자 경험에 집중하며, 고품질의 답변을 우선시하는 것이 Google의 성공에 결정적인 역할을 했습니다.

"사용자는 절대 틀릴 수 없다"는 철학을 바탕으로 Google은 사용자의 요구를 이해하고 예측하는 제품을 설계하여 궁극적으로 최신 소프트웨어 제품의 방식을 형성했습니다.

좋은 질문을 유도하고 관련 제안을 제공하는 데 중점을 두고 디자인 디테일에 주의를 기울이는 것은 제품 개발과 사용자 경험에 대한 Google의 영향력을 반영합니다.

제품 디자인과 성장의 균형 잡기

신규 사용자를 위한 단순성과 파워 유저를 위한 기능 추가의 균형을 맞추는 것은 제품 설계와 성장의 어려운 측면입니다.

베조스나 머스크처럼 성공한 기업가들은 명확한 사고, 탁월한 운영 능력, 그리고 고객에 대한 끊임없는 집중을 통해 영감을 얻습니다.

직접적인 사용자 관계와 끊임없는 목표 추구에 있어 엘론 머스크의 전략에서 볼 수 있듯이, 분산과 제1원칙 사고는 비즈니스 성공에 매우 중요합니다.

젠슨의 강박적인 추진력이 기술 분야에 미친 영향

젠슨의 독특한 리더십 방식은 전체 시스템을 동시에 이해하기 위해 일대일 회의를 지양하는 것입니다.

그는 30년 후를 내다보는 비전을 가지고 장기적인 계획을 세우는 것으로도 유명합니다.

하드웨어 성공에 대한 그의 편집증은 디테일과 혁신에 대한 집착으로 이어져 그를 업계에서 독보적인 존재로 만들었습니다.

AI에서 연속 그래디언트 기반 추론의 힘

연속적인 그라데이션 기반 추론을 적용하여 감각 양식을 압축하고 디코딩하여 보다 효율적인 AI 처리를 할 수 있습니다.

오픈 소스라는 개념은 투명성을 극대화하고 잠재적인 오용을 더 빠르게 식별할 수 있는 AI 안전의 해결책으로 제시됩니다.

주의 집중과 마스킹을 사용하는 트랜스포머 아키텍처의 개발은 특히 자연어 처리에서 더욱 강력하고 효율적인 모델을 개발하여 AI 학습에 혁명을 일으켰습니다.

대규모 언어 모델의 진화와 사후 학습의 중요성

대규모 언어 모델은 GPT-3에서 수조 개의 토큰과 파라미터로 학습된 모델로 발전했으며, 손실 규모 조정과 비지도 사전 학습에 중점을 두고 있습니다.

RF 단계와 추론 부트스트랩을 포함한 학습 후 단계는 모델의 상식과 제어 가능성에 매우 중요하며, 이는 NLP 작업의 성능 향상으로 이어집니다.

현재 추론과 사실의 분리, 추론을 위한 작은 언어 모델 사용, 성능 향상을 위해 모델이 추론 경로를 거치도록 강제하는 데 있어 생각의 사슬의 효과를 탐구하는 연구가 진행 중입니다.

추론과 자기 개선을 위한 AI의 잠재력

AI 모델은 자연어 설명에 대한 학습을 통해 추론 능력을 향상시켜 다양한 작업에서 더 나은 성능을 발휘할 수 있습니다.

아직 실현되지는 않았지만 AI 시스템이 자체 감독 사후 학습과 재귀적 자기 개선을 통해 '지능 폭발'을 경험할 가능성도 있습니다.

인간의 호기심과 통찰력 있는 질문을 하는 능력을 모방한다는 개념은 호기심 기반 탐색의 발전에도 불구하고 여전히 AI에게 어려운 과제입니다.

AI의 획기적인 발견 잠재력은 강력한 컴퓨팅 리소스에 대한 접근성에 의해 제한됩니다.

AI가 만들어내는 혁신적인 솔루션의 가치는 엄청나지만, 필요한 컴퓨팅 파워의 높은 비용으로 인해 일부만 이용할 수 있습니다.

AI 발전의 미래는 현재의 이해를 벗어난 새로운 지식과 진실을 발견할 수 있는 잠재력을 지닌 반복 컴퓨팅의 영리한 혁신에 달려 있습니다.

AI는 새롭고 가치 있는 인사이트를 제공하여 기존의 사고에 도전하고 획기적인 발견을 이끌어낼 수 있는 잠재력을 가지고 있습니다.

GitHub Copilot의 사례에서 볼 수 있듯이 제품 개발에 AI를 사용하면 AI가 직접 제품 개선을 주도하여 지속적인 개선 주기로 이어질 수 있는 특별한 기회를 창출할 수 있습니다.

이러한 AI 기반 접근 방식은 대부분의 회사에서 일반적이지 않지만 성공적으로 구현되면 다양한 산업의 발전에 큰 영향을 미칠 수 있습니다.

텍스트 기반 검색에서 시각적 검색으로 전환하여 Google을 혁신하려는 Elot Gil의 아이디어가 이 개념에 영감을 주었습니다.

관계형 데이터베이스 검색에 SQL을 사용하면 처음에는 출력 엔트로피를 줄일 수 있다고 생각했지만 나중에 잘못된 것으로 판명되었습니다.

엉뚱한 데이터 스크래핑 방법을 사용한 트위터와 퍼플렉서티 검색의 출시는 초기 입소문을 타고 검색 결과를 요약하고 제시할 수 있는 잠재력을 발견하는 계기가 되었습니다.

기대를 낮게 잡고 출시한 신제품이 예상치 못한 인기를 얻으면서 회사의 미션이 바뀌게 되었습니다.

회사의 비전은 단순한 답변 제공이 아닌 지식과 안내에 초점을 맞추는 방향으로 발전했습니다.

이 제품의 기술 프레임워크인 검색 증강 세대(RAG)는 사실적 근거를 우선시하며, 향상된 모델 기술과 더 나은 정보 검색을 통해 환각을 최소화하는 것을 목표로 합니다.

웹 크롤링 및 검색 엔진 인덱싱의 복잡한 프로세스

웹 크롤링에는 크롤링할 URL과 크롤링 방법을 결정하는 동시에 robots.

txt와 같은 웹사이트의 공손함 정책을 준수하는 것이 포함됩니다.

또한 이 프로세스에서는 재크롤링 주기와 하이퍼링크를 기반으로 대기열에 추가할 새 페이지에 대한 결정도 내려야 합니다.

검색 엔진 인덱싱에는 각 URL에서 콘텐츠를 가져오고, 텍스트 추출을 위해 머신 러닝을 사용하고, 순위를 매기기 위해 BM25와 같은 전통적인 검색 알고리즘을 사용하는 작업이 포함됩니다.

또한 페이지 순위, 도메인 권한, 최신성과 같은 다른 순위 신호도 고려해야 하므로 검색은 과학과 사용자 중심의 사고가 결합된 까다로운 문제입니다.

혼란스러운 상황에서 모델 스와핑의 유연성

Perplexity는 사전 학습된 LLM 모델을 유연하게 교체할 수 있는 기능을 제공하여 사용자가 GPT-3, GPT-4, Turbo, CLIP, 3, Sonic, CLIP, 3, Opus, Sonar 등 다양한 옵션 중에서 선택할 수 있도록 합니다.

사용자에게 최상의 결과를 제공하는 데 중점을 두고 모델과 검색 단계를 개선하는 데 있어 절충점을 찾는 것이 핵심 고려 사항입니다.

이 시스템은 최적의 성능을 위해 꼬리 지연 시간과 처리량을 추적하는 데 우선순위를 두는 동시에 컴퓨팅 용량 확장에 대한 결정과 사내 리소스와 클라우드 리소스 간의 균형에 직면합니다.

인터넷 비즈니스의 클라우드 서비스 사용

Snapchat, Walmart와 같은 인터넷 기업은 자체 데이터 센터 대신 Google Cloud와 Azure를 사용하고 있습니다.

트위터를 비롯한 엘론 머스크의 회사들도 확장성을 우선시하여 사내 데이터 센터로 전환하고 있습니다.

AWS를 사용하면 우수한 인프라를 제공할 뿐만 아니라 스타트업이 엔지니어를 빠르게 채용하고 증원하는 데에도 도움이 됩니다.

스타트업을 추구하는 노력과 열정의 가치

스타트업의 성공을 위해서는 특히 초기 단계에서 열심히 일하고 행운을 유지하는 것이 중요합니다.

특히 젊은 시절에 기술을 쌓고 연습하는 데 시간을 할애하여 열정을 성공적인 커리어로 전환하는 것이 중요합니다.

분야에 관계없이 열정적이고 추진력 있는 사람들과 함께 있으면 귀중한 영감과 동기를 부여받을 수 있습니다.

검색의 미래는 새로운 종류의 질문과 지식의 확산을 허용하는 더 깊은 지식 발견을 향해 진화하고 있습니다.

인간의 호기심을 충족시키고 진실을 추구하는 행동을 촉진하여 사람들이 무언가를 발견하도록 안내하는 것이 목표입니다.

퍼플렉시티는 사용자가 Q&A 세션을 기반으로 위키피디아 스타일의 체계적인 페이지를 만들어 호기심과 개인 지식 타임라인의 여정을 장려하는 퍼플렉시티 페이지라는 프로젝트를 진행 중입니다.

이 프로젝트의 비전은 검색창에서든, 페이지를 듣든, 읽든 지식 발견을 질문의 시작점으로 삼아 궁극적으로 진실을 추구하는 행동과 집단 지성을 촉진하는 것입니다.

디지털 시대의 지식과 호기심 탐색하기

우주에서 외계 문명을 찾는 작업은 아직 명확한 답을 찾지 못한 채 계속되고 있습니다.

드레이크 방정식은 거주 가능한 행성의 수를 추정하는 데 중요한 역할을 합니다.

정보와 지식을 찾는 경험을 맞춤화하는 것은 AI와 디지털 콘텐츠의 세계에서 점점 더 중요해지고 있습니다.

컨텍스트 창 크기 증가가 AI와 인간 상호 작용에 미치는 영향

컨텍스트 창 크기를 늘리면 모델의 상세 정보 수집 기능이 향상되고 내부 검색이 개선될 수 있습니다.

그러나 크기 증가와 모델의 명령어 처리 능력 사이에는 상충 관계가 있습니다.

컨텍스트 창이 커지면 AI의 능력이 향상될 수 있지만 혼란과 성능 저하를 초래할 수도 있습니다.

AI가 인간과 깊은 관계를 형성할 수 있는 잠재력에도 불구하고, 진정한 인간관계와 성취감을 촉진하기 위해 인간의 호기심과 역량을 강화하는 데 초점을 맞추고 있습니다.

인공지능 동반자를 만들면 단기적인 만족을 위해 인간의 감정을 조작하는 것에 대한 윤리적 우려가 제기됩니다.

AI가 장기적인 코치나 멘토로서 인간의 번영을 이끄는 역할을 할 수 있는 잠재력은 보다 의미 있는 다른 접근 방식을 제시합니다.

AI는 사람들 간의 이해의 격차를 해소하여 인간의 편견이 줄어들고 이해가 증진되는 미래에 대한 희망을 제시할 수 있는 잠재력을 가지고 있습니다.