MAKE와 챗GPT로 코딩 없이 모든 웹사이트 크롤링하세요!

시민개발자 구씨는 일을 줄이는 일을 하고 싶은 모든 직장인들을 위한 채널입니다. 업무를 더 효율적으로 하기 위해 필요한 툴을 잘 사용하시는데 도움을 드리는 콘텐츠를 제작하고 있습니다. 
#시민개발자 #업무자동화 #앱시트 #스프레드시트 #루커스튜디오 #앱스크립트


시민개발자 구씨

Make와 챗GPT, 파이썬을 활용하여 코딩 없이 정적 및 동적 웹사이트에서 데이터를 크롤링하는 방법을 설명합니다.

정적 웹사이트는 HTTP 모듈과 텍스트 파서를 사용하여 크롤링하고, 동적 웹사이트는 파이썬과 F5 서비스를 통해 크롤링합니다.

수집된 데이터는 챗GPT를 통해 요약 및 정리 후 구글 시트에 저장하여 업무 생산성을 높일 수 있습니다.

🤖 코딩 없이 웹 크롤링하는 방법: Make와 ChatGPT 활용

웹 크롤링을 통해 업무 생산성을 높이고 싶지만 코딩 지식이 없어 포기하셨나요? **Make와 ChatGPT 같은 AI 도구를 활용하면 코딩 없이도 웹사이트에서 원하는 정보를 추출**하고 업무에 적용할 수 있습니다. 이 글에서는 Make를 사용하여 AI 관련 정보를 크롤링하는 방법을 소개합니다.

🌐 웹사이트의 이해: 정적 vs 동적

웹 크롤링을 시작하기 전에 웹사이트의 기본 개념과 두 가지 주요 유형을 이해하는 것이 중요합니다. 웹사이트는 HTML로 작성된 문서가 HTTP 프로토콜을 통해 서버에서 사용자에게 전송되는 방식으로 작동합니다. 웹사이트는 크게 정적 웹사이트와 동적 웹사이트로 나눌 수 있습니다.

정적 웹사이트는 접속 시 모든 HTML 정보가 즉시 브라우저에 표시되는 간단한 구조를 가집니다. **HTML 소스만으로 데이터를 쉽게 추출할 수 있어 크롤링이 비교적 간단**합니다. 반면, 동적 웹사이트는 초기 접속 시 기본 HTML 구조만 표시하고, API 요청이나 JavaScript를 통해 추가 정보를 업데이트합니다. React, Vue, Angular와 같은 프레임워크를 사용하는 대규모 서비스에서 주로 사용됩니다.

🛠️ Make를 활용한 정적 웹사이트 크롤링

Make를 사용하여 정적 웹사이트를 크롤링하는 방법을 알아봅니다. 먼저, Make에 접속하여 새 시나리오를 생성합니다. AI 관련 최신 논문 정보를 얻기 위해 arXiv.org의 AI 섹션을 크롤링하는 예시를 들어보겠습니다. HTTP 모듈을 사용하여 해당 웹사이트의 HTML 코드를 가져옵니다.

가져온 HTML 코드는 텍스트 파서를 사용하여 텍스트로 변환합니다. **텍스트 파서의 "HTML to 텍스트" 모듈을 사용하면 불필요한 HTML 코드를 제거하고 텍스트 데이터만 추출**할 수 있습니다. 추출된 텍스트에서 논문 제목, 저자, 링크 등의 필요한 정보만 추출해야 합니다.

🤖 ChatGPT를 이용한 데이터 추출

과거에는 엑셀을 사용하여 패턴 매칭을 해야 했지만, **ChatGPT와 같은 AI 도구를 사용하면 복잡한 데이터 추출 작업을 훨씬 쉽게 처리**할 수 있습니다. ChatGPT 모듈을 추가하고, 시스템 프롬프트와 유저 프롬프트를 설정하여 원하는 데이터 형식을 지정합니다. 예를 들어, JSON 형식으로 타이틀, 저자, 링크를 추출하도록 지시할 수 있습니다.

프롬프트 작성 시 **JSON 포맷 예시를 제공하면 ChatGPT가 더욱 정확하게 데이터를 추출**할 수 있습니다. 추출된 데이터를 Google Sheets와 같은 데이터베이스에 저장하여 활용할 수 있습니다. JSON 데이터를 깔끔하게 정리해 주는 "parse JSON" 모듈을 사용하여 데이터를 개별 항목으로 분리할 수 있습니다.

🔗 동적 웹사이트 크롤링: 파이썬과 Apify 활용

동적 웹사이트는 HTTP 요청만으로는 원하는 정보를 얻을 수 없습니다. **Apify와 같은 서비스를 활용하여 JavaScript가 실행된 후의 HTML 코드를 가져와야 합니다**. Apify는 웹사이트 정보를 API 형태로 제공하는 플랫폼입니다. Apify 스토어에서 웹 스크레이퍼 액터를 선택하여 동적 웹사이트를 크롤링할 수 있습니다.

Apify 액터 설정 시, 페이지 HTML 값을 가져오도록 코드를 수정해야 합니다. Apify에서 크롤링된 데이터는 스토리지에 저장되며, Make의 Apify 모듈을 통해 해당 데이터를 가져올 수 있습니다. **"Watch actor runs" 모듈을 사용하여 Apify 액터 실행을 감지하고, "Get Data" 모듈을 사용하여 스토리지에 저장된 데이터를 가져옵니다**.

가져온 HTML 코드를 텍스트로 변환하고, 불필요한 부분을 제거한 후 ChatGPT를 사용하여 필요한 정보를 추출합니다. 최종적으로 추출된 데이터를 Google Sheets에 저장하여 관리할 수 있습니다.

✨ 웹 크롤링의 다양한 활용과 장점

웹 크롤링은 리서치 및 데이터 분석에 유용하게 활용될 수 있는 기술입니다. Make, AI, 파이썬을 함께 사용하면 대부분의 웹사이트에서 정보를 추출하여 활용할 수 있습니다. **코드 제작, 외부 서비스 이용 등 다른 방식에 비해 효율적이고 유연한 웹 크롤링 시스템을 구축**할 수 있습니다.

Make를 사용하면 웹 크롤링 과정을 자동화하여 업무 생산성을 크게 향상시킬 수 있습니다. 주기적으로 웹사이트를 크롤링하고, 새로운 정보를 자동으로 업데이트하는 시스템을 구축할 수 있습니다.

메이크, 챗GPT, Apify를 활용한 웹 크롤링 방식이 다른 웹 크롤링 방식(코드 직접 제작, 외부 유료 서비스)과 비교했을 때 가지는 장점은 무엇인가요?

정적 웹사이트와 동적 웹사이트의 주요 차이점은 무엇이며, 각각의 웹사이트 유형을 크롤링할 때 어떤 도구와 방식이 활용되었는지 설명해주세요.

동적 웹사이트 크롤링을 위해 Apify를 사용하는 과정에서 `Playwright`가 어떤 역할을 하는지 구체적으로 설명해주세요.

챗GPT를 활용하여 텍스트에서 원하는 정보를 추출할 때, 프롬프트 작성 시 정확도와 신뢰도를 높이기 위한 중요한 요소들은 무엇이었나요?

메이크 시나리오에서 HTTP 모듈, 텍스트 파서, JSON 파서, 그리고 이터레이터 모듈이 각각 어떤 단계에서 어떤 목적으로 사용되었는지 설명해주세요.

코딩 없이 Make와 AI 활용한 웹사이트 크롤링 소개

코딩 지식 없이 웹 크롤링을 통해 업무 생산성을 높이는 방법 소개

Make와 Zapier와 같은 AI 활용을 통한 웹사이트 크롤링 가능성 제시

크롤링된 정보를 업무 플로우에 적용하여 생산성 향상

Make를 활용한 AI 관련 정보 크롤링 방법 설명

코딩 없이 웹 크롤링하는 방법을 영상을 통해 따라 할 수 있도록 안내

웹사이트의 종류와 크롤링의 간편성 비교

웹사이트의 정의와 HTTP 프로토콜을 통한 HTML 문서 전송 설명

정적 웹사이트와 동적 웹사이트의 두 가지 유형으로 분류

정적 웹사이트는 모든 HTML 정보가 바로 출력되는 간단한 사이트

동적 웹사이트는 초기 로드 시 기본 HTML만 출력 후 API 또는 자바스크립트로 정보 업데이트

React, Vue, Angular 등 자바스크립트 프레임워크 사용하는 대규모 서비스에서 동적 웹사이트 활용

Make를 이용한 웹 크롤링 실습 (정적 웹사이트)

AI 관련 논문 정보 크롤링을 위한 archive.org 사이트 활용

논문 제목, 저자, 링크 정보 추출

HTTP 모듈을 이용한 HTML 코드 가져오기

HTML to 텍스트 변환을 위한 텍스트 파서 모듈 사용

ChatGPT를 활용한 데이터 추출 및 정제

ChatGPT를 이용한 논문 제목, 저자, 링크 정보 추출

ChatGPT 프롬프트 작성 및 시스템/유저 메시지 분리

텍스트 파서에서 추출한 텍스트 값을 ChatGPT에 입력

ChatGPT를 통해 JSON 포맷으로 데이터 추출

ChatGPT API 키 생성 및 연결 방법 설명

추출된 JSON 데이터 정리 및 시트 저장

JSON 파서를 이용한 데이터 정리

구글 시트 연결 및 데이터 저장

시트에 타이틀, 저자, 링크 정보 업데이트

추가적인 링크 접속 및 크롤링 방법 언급

정적 웹사이트 크롤링 및 추가 링크 크롤링

TechCrunch 사이트의 AI 섹션 뉴스 크롤링

정규 표현식(regex)을 이용한 URL 추출

regex101.com을 이용한 정규 표현식 테스트 방법 설명

추출된 URL을 이용한 HTTP 요청 및 HTML 코드 가져오기

동적 웹사이트 크롤링 (크몽 사이트 예시)

크몽 사이트에서 AI 자동화 프로그램 관련 상품 정보 크롤링 시도

F5 서비스를 이용한 동적 웹사이트 크롤링

F5 스토어에서 웹 스크레이퍼 선택 및 설정

F5 API 토큰을 이용한 Make와의 연결

Make에서 F5 액터 실행 감지 및 데이터셋 아이템 가져오기

다양한 웹 크롤링 방법 비교 및 마무리

Make 외 다른 웹 크롤링 방법(직접 코딩, 외부 서비스 이용) 비교

Make, AI, 파이썬을 활용한 웹 크롤링 방식의 장점 제시

웹 크롤링 기술의 업무 활용 및 생산성 향상 가능성 강조

구독 및 좋아요를 요청하며 영상 마무리