Make, ChatGPT, Python 활용한 웹 크롤링 자동화 및 업무 생산성 향상 방법

Make, Zapier, ChatGPT는 웹 크롤링을 자동화하여 코딩 없이도 생산성을 높여줍니다.

### Make와 ChatGPT를 활용한 코딩 없는 웹사이트 크롤링
* 💻 **Make**와 **Zapier**와 같은 AI 도구를 사용하면 코딩 없이도 웹사이트 크롤링 및 업무 자동화가 가능합니다.
* 🔎 웹사이트는 **HTML**과 **HTTP** 프로토콜을 통해 정보를 전달하며, **정적**과 **동적** 웹사이트로 구분됩니다.
* 🌐 정적 웹사이트는 HTML 정보가 바로 출력되어 크롤링이 간편하지만, 동적 웹사이트는 API 요청이나 자바스크립트를 사용하여 정보를 업데이트합니다.
* ⚙️ Make에서 HTTP 모듈을 사용하여 웹사이트의 HTML 코드를 가져오고, 텍스트 파서를 이용하여 텍스트로 변환합니다.
* 🤖 **ChatGPT**를 활용하여 복잡한 데이터 추출 작업을 수행하고, 원하는 정보만 JSON 형식으로 추출합니다.  "너는 굉장히 협조적이고 똑똑한 웹 크롤링을 하는 조수다"라는 프롬프트를 통해 ChatGPT의 역할을 명확히 설정합니다.
* 📊 추출된 JSON 데이터는 **JSON 파서**를 통해 구조화하고, Google Sheet와 같은 시트에 저장하여 활용합니다.
* 🔗  **TechCrunch**와 같은 동적 웹사이트의 기사 링크를 **정규 표현식(regex)**을 이용하여 추출하고, 각 기사 페이지에 접근하여 정보를 요약합니다.
* 📝  **regex101.com**과 같은 사이트를 활용하여 정규 표현식을 테스트하고,  데이터 전처리 과정을 거쳐 AI를 통해 기사 내용을 효율적으로 요약합니다.

### Make, ChatGPT, Python을 활용한 웹사이트 크롤링 자동화
* 🤖 **URL**을 소문자로 변환하고, 슬라이스 및 조인을 통해 기사 내용만 추출합니다.  토픽으로 스플릿하여 기사 본문을 분리하고, 필요에 따라 스플릿 기준을 조정합니다.
* 📰 추출된 기사 내용을 ChatGPT 4를 이용하여 요약하고, **JSON** 포맷으로 뉴스 제목, 날짜, 링크와 함께 정리합니다. 시스템 및 유저 메시지를 구분하여,  출력 포맷 및 원하는 정보를 명확히 지정합니다.  불필요한 정보 제거 및 톤 설정을 통해 정확한 요약을 유도합니다.
* 📊 요약된 결과를 JSON 파서를 통해 처리하고, Google Sheet의 "테크 뉴스" 시트에 **날짜, 제목, 요약, 링크**를 업데이트합니다.  중복 기사 방지를 위해 기존 시트의 링크와 비교하는 필터링 과정을 추가할 수 있습니다.
* 🕸️ **동적 웹사이트** 크롤링을 위해 Python과 F5 서비스를 활용합니다. F5 스토어에서 웹 스크레이퍼 액터를 선택하고,  자바스크립트 실행 후 HTML 값을 가져오도록 코드를 수정합니다.  `const pageHTML = document.documentElement.outerHTML;` 와 같이 HTML 정보를 추출하는 코드를 추가합니다.
* 🔄 Make와 F5 서비스를 연동하여, F5에서 크롤링한 데이터를 Make로 가져옵니다.  데이터셋 아이템 ID를 활용하여 Make에서 데이터를 가져오고,  **텍스트 파서**를 통해 텍스트로 변환합니다.  중복 실행 방지를 위해 데이터셋 ID를 하드코딩하여 사용합니다.
* 🛍️ 크몽 웹사이트의 상품 정보를 크롤링하고, CPC 광고 및 고객센터 텍스트를 기준으로 필요한 부분만 추출합니다.  `W24` 값을 기준으로 상품별로 데이터를 분리하고, 이터레이터를 사용하여 각 상품 정보를 개별 처리합니다.
* 🤖 각 상품 정보를 ChatGPT를 이용하여 상품명, 가격, 별점, 링크를 추출하고, JSON 포맷으로 결과를 얻습니다.  별점 유무에 따른 예시를 제공하여 ChatGPT의 정확도를 높입니다.
* 📈 최종적으로 추출된 정보를 Google Sheet에 업데이트합니다.  Make, ChatGPT, Python을 활용한 웹 크롤링 방식은 코드 제작이나 유료 서비스 대비 **효율적이고 자동화에 용이**합니다.  서치 엔진 데이터는 기존 API 활용이 가능합니다.

MAKE와 챗GPT로 코딩 없이 모든 웹사이트 크롤링하세요!

시민개발자 구씨는 일을 줄이는 일을 하고 싶은 모든 직장인들을 위한 채널입니다. 업무를 더 효율적으로 하기 위해 필요한 툴을 잘 사용하시는데 도움을 드리는 콘텐츠를 제작하고 있습니다. 
#시민개발자 #업무자동화 #앱시트 #스프레드시트 #루커스튜디오 #앱스크립트


시민개발자 구씨

코딩 없이 Make와 AI 활용한 웹사이트 크롤링 소개

코딩 지식 없이 웹 크롤링을 통해 업무 생산성을 높이는 방법 소개

Make와 Zapier와 같은 AI 활용을 통한 웹사이트 크롤링 가능성 제시

크롤링된 정보를 업무 플로우에 적용하여 생산성 향상

Make를 활용한 AI 관련 정보 크롤링 방법 설명

코딩 없이 웹 크롤링하는 방법을 영상을 통해 따라 할 수 있도록 안내

웹사이트의 종류와 크롤링의 간편성 비교

웹사이트의 정의와 HTTP 프로토콜을 통한 HTML 문서 전송 설명

정적 웹사이트와 동적 웹사이트의 두 가지 유형으로 분류

정적 웹사이트는 모든 HTML 정보가 바로 출력되는 간단한 사이트

동적 웹사이트는 초기 로드 시 기본 HTML만 출력 후 API 또는 자바스크립트로 정보 업데이트

React, Vue, Angular 등 자바스크립트 프레임워크 사용하는 대규모 서비스에서 동적 웹사이트 활용

Make를 이용한 웹 크롤링 실습 (정적 웹사이트)

AI 관련 논문 정보 크롤링을 위한 archive.org 사이트 활용

논문 제목, 저자, 링크 정보 추출

HTTP 모듈을 이용한 HTML 코드 가져오기

HTML to 텍스트 변환을 위한 텍스트 파서 모듈 사용

ChatGPT를 활용한 데이터 추출 및 정제

ChatGPT를 이용한 논문 제목, 저자, 링크 정보 추출

ChatGPT 프롬프트 작성 및 시스템/유저 메시지 분리

텍스트 파서에서 추출한 텍스트 값을 ChatGPT에 입력

ChatGPT를 통해 JSON 포맷으로 데이터 추출

ChatGPT API 키 생성 및 연결 방법 설명

추출된 JSON 데이터 정리 및 시트 저장

JSON 파서를 이용한 데이터 정리

구글 시트 연결 및 데이터 저장

시트에 타이틀, 저자, 링크 정보 업데이트

추가적인 링크 접속 및 크롤링 방법 언급

정적 웹사이트 크롤링 및 추가 링크 크롤링

TechCrunch 사이트의 AI 섹션 뉴스 크롤링

정규 표현식(regex)을 이용한 URL 추출

regex101.com을 이용한 정규 표현식 테스트 방법 설명

추출된 URL을 이용한 HTTP 요청 및 HTML 코드 가져오기

동적 웹사이트 크롤링 (크몽 사이트 예시)

크몽 사이트에서 AI 자동화 프로그램 관련 상품 정보 크롤링 시도

F5 서비스를 이용한 동적 웹사이트 크롤링

F5 스토어에서 웹 스크레이퍼 선택 및 설정

F5 API 토큰을 이용한 Make와의 연결

Make에서 F5 액터 실행 감지 및 데이터셋 아이템 가져오기

다양한 웹 크롤링 방법 비교 및 마무리

Make 외 다른 웹 크롤링 방법(직접 코딩, 외부 서비스 이용) 비교

Make, AI, 파이썬을 활용한 웹 크롤링 방식의 장점 제시

웹 크롤링 기술의 업무 활용 및 생산성 향상 가능성 강조

구독 및 좋아요를 요청하며 영상 마무리