웹사이트 데이터 추출을 위한 AI 크롤러 구축하기

AI 크롤러는 자율적으로 웹사이트를 탐색하여 구조화된 데이터를 효율적으로 검색합니다.

### 웹사이트 탐색을 위한 AI 크롤러 구축
이 동영상은 자동화 도구 na10과 에이전트 Noe를 사용하여 AI 크롤러를 구축하는 방법을 보여줍니다. 크롤러에는 **링크를 검색하는 URL 도구와 페이지 콘텐츠를 수집하는 텍스트 도구**가 탑재되어 있어 원하는 데이터를 자율적으로 탐색하고 검색할 수 있습니다. 크롤러는 설정은 쉽지만 웹 사이트에서 작업을 수행할 수 없고 데이터 추출을 위해 AI에 의존하기 때문에 **가끔 오류가 발생할 수 있는 등의 한계**가 있습니다.

### 웹사이트에서 소셜 미디어 링크 스크랩하기
상담원이 텍스트와 URL이라는 두 가지 도구를 사용하여 웹사이트 목록에서 소셜 미디어 프로필 링크를 스크랩하고 있습니다. 출력은 **슈퍼 베이스에 저장되어 소셜 미디어 열로 기록을 보강**합니다. 텍스트 도구는 컨텍스트를 위해 전체 페이지 텍스트를 검색하는 반면, URL 도구는 **회사 프로필과 같은 특정 데이터**를 수집하는 데 사용됩니다.

### 웹 스크래핑 기술 및 도구
웹 스크래핑은 HTML 페이지에서 텍스트를 검색하는 작업으로, 길이가 길고 서식이 지정되지 않은 텍스트일 수 있습니다. **na10의 마크다운 노트**를 사용하면 HTML을 에이전트를 위한 적절한 형식의 텍스트로 변환할 수 있습니다. **브라이트 데이터의 웹 언락커와 같은 프록시**를 구현하면 보안 차단과 캡차를 우회하여 스크래핑 프로세스의 정확성을 높일 수 있습니다.

### NA10을 사용한 데이터 스크래핑 워크플로
NA10 HTML 노드는 페이지에서 모든 링크를 검색하지만 비어 있고 중복된 링크가 있는 등 데이터가 깨끗하지 않습니다. 필터링 후 **소셜 미디어 플랫폼을 포함하여 13개의 사용 가능한 링크**가 집계되어 상담원에게 다시 전송됩니다. 워크플로는 **소셜 미디어 링크용 에이전트, 회사 프로필용 에이전트, JSON 형식의 앱 기능 추출용 에이전트 등 세 개의 에이전트**로 확장됩니다.

### 워크플로 완성 및 데이터 삽입
워크플로우가 성공적으로 완료되어 새 행이 삽입되었습니다. 이제 **슈퍼 베이스에 채워진 소셜 미디어 열과 회사 프로필 레코드가 Airtable, Retool 및 Na10에 대한 통합 JSON**과 함께 표시됩니다. 동영상은 감사와 함께 **좋아요, 구독 및 뉴스레터 신청 요청**으로 마무리됩니다.

### 웹사이트 데이터 검색을 위한 AI 크롤러 구축하기
* 🤖 이 동영상에서는 자동화 도구를 사용하여 다양한 웹사이트를 탐색하고 구조화된 형식으로 데이터를 반환할 수 있는 **AI 크롤러를 만드는 방법**을 살펴봅니다.
* 🔧 크롤러는 **링크를 검색하는 URL 도구와 페이지 콘텐츠를 추출하는 텍스트 도구**라는 두 가지 주요 도구를 갖춘 na10의 AI 에이전트 Noe를 활용합니다.
* 🌐 예를 들어 **workflow.com과 같은 페이지에서 연락처 세부 정보를 검색**하려는 경우 상담원이 링크를 분석하여 가장 관련성이 높은 하위 페이지로 이동합니다.
* ⚠ 그러나 크롤러는 **입력이나 클릭과 같은 작업**을 수행할 수 없으며, AI에 의존하기 때문에 **환각이나 구문 분석 오류**가 발생할 수 있다는 단점이 있습니다.
* 📊 워크플로는 **지정된 웹사이트에서 소셜 미디어 프로필 링크를 검색**하여 강화된 결과물을 Supabase 데이터베이스에 저장하는 것으로 시작됩니다.
* 📄 텍스트 도구는 페이지에서 전체 텍스트를 추출하여 컨텍스트를 제공하는 반면, **URL 도구는 사용할 수 없거나 중복된 링크를 제거하기 위해 정리가 필요한 JSON 형식의 링크**를 검색합니다.
* 🔗 또한 na10에서 여러 에이전트를 연결하여 **소셜 미디어 링크, 회사 프로필, 앱 기능 등 다양한 데이터 유형**을 스크랩할 수 있으며, 이 모든 데이터는 쉽게 액세스할 수 있도록 **Supabase에 저장**됩니다.
* 👍 마지막으로 동영상은 **완성된 워크플로우의 데모**로 마무리되며, 풍부해진 데이터를 보여주고 시청자가 더 많은 콘텐츠를 구독할 수 있도록 독려합니다.

LiveWiki

Autonomous AI crawler

Autonomous AI crawler