😮💨 "매일 트렌드와 경쟁사 콘텐츠를 찾아보는 데만 시간이 너무 오래 걸려요." 😵💫 "레퍼런스는 저장해두는데, 여기저기 흩어져 있어서 기획할 때 다시 검색하게 돼요." 😰 "AI 자동화를 해보고 싶지만 API나 코딩 얘기가 나오면 막막해요."
콘텐츠 마케터라면 한 번쯤 해봤을 고민이죠. 저 역시 매일 아침 여러 채널을 오가며 오늘 뭐가 화제인지 확인하고, 괜찮은 레퍼런스를 발견하면 어딘가에 저장해두는 일을 반복했습니다. 그런데 여기에 X(구 트위터)의 트렌드 크롤링 기능마저 유료화되면서, 무료로 트렌드를 확인하던 경로 하나가 아예 막혀버렸어요.
그래서 무료 도구부터 시작해, 자는 동안 노션에 새로운 트렌드 후보가 자동으로 쌓이게 만드는 '트렌드 수집봇'을 직접 만들었습니다.
시작하기 전에 한 가지는 분명히 해두고 싶어요. 이 시스템은 미래의 유행을 정확히 예측하는 봇이 아닙니다. 네이버·유튜브·뉴스·RSS 등 여러 곳에 흩어진 신호를 자동으로 모으고, 미리 정한 기준에 따라 AI가 1차로 정리해주는 트렌드 탐색 보조 시스템에 가깝습니다.
어떤 주제를 콘텐츠로 만들지 최종 판단은 여전히 사람의 몫이지만, 매일 여러 사이트를 돌아다니며 자료를 찾는 시간만큼은 크게 줄일 수 있어요. 제가 실제로 구축한 트렌드 수집봇의 구조와 코드, 프롬프트까지 실무에 쓴 그대로 공개할게요.
매일 아침 트렌드를 손으로 모으는 방식에는 분명한 한계가 있어요. 여러 채널을 돌아다니며 확인하는 데만 시간이 많이 들고, 사람이 매번 같은 채널만 보다 보니 정작 중요한 신호는 다른 곳에서 놓치기도 합니다.
저장해둔 레퍼런스도 마찬가지예요. 인스타그램 저장, 유튜브 좋아요, 노션 캡처로 자료가 세 갈래, 네 갈래로 흩어지다 보니 몇 달만 지나도 '저장은 했지만 다시는 열어보지 않는' 자료 무덤이 채널마다 쌓입니다.
자동화의 장점은 단순히 시간을 아끼는 데 있지 않아요. 매일 같은 기준으로 데이터를 수집하고, 한곳에 정리해서 필요할 때 다시 꺼내 쓸 수 있다는 것, 이게 핵심입니다. 자료를 찾고 정리하는 데 쓰던 시간을 줄인 만큼, '무엇을 만들 것인가'를 고민하는 기획과 크리에이티브에 더 집중할 수 있어요.
이 과정을 매번 직접 실행할 필요는 없어요. GitHub Actions가 정해진 시간에 Python 코드를 실행하기 때문에, 컴퓨터를 켜두지 않아도 매일 자동으로 새로운 데이터가 쌓입니다. 다만 GitHub Actions의 예약 실행은 사용량에 따라 조금 늦게 시작될 수 있어요. 그래서 '매일 오전 7시 정각'보다는 '매일 오전 7시 전후에 실행된다'고 이해해주시면 됩니다.
🧰 시작하기 전에 준비해주세요
자동화를 만들려면 아래 계정과 도구가 필요합니다. 모두 유료로 결제해야 하는 건 아니에요. 작은 규모라면 무료 범위에서 충분히 시작할 수 있습니다.
GitHub Actions는 공개 저장소의 표준 GitHub-hosted runner에서 무료로 사용할 수 있고, 비공개 저장소는 요금제에 포함된 무료 실행량을 먼저 사용해요. 이를 초과하면 추가 비용이 발생할 수 있습니다. 그래서 '무조건 완전 무료'가 아니라 '작은 자동화는 무료 범위에서 시작할 수 있다'고 이해하는 게 정확해요.
💡 꼭 처음부터 모든 기능을 연결하지 않아도 괜찮아요
처음이라면 네이버 뉴스 API → Python → 노션 저장 → GitHub Actions 자동 실행까지만 만들어보세요. 제대로 작동하는 것을 확인한 뒤 데이터랩, YouTube, RSS, AI 분석을 하나씩 추가하는 편이 오류를 찾기도 쉽고 비용도 관리하기 좋습니다.
준비가 됐다면, 이제 트렌드 수집봇이 돌아다닐 데이터 수집처부터 하나씩 연결해볼게요.
STEP 1. 안정적인 데이터 수집 소스 세팅하기
트렌드 수집봇에서 가장 먼저 정해야 하는 건 어디에서 데이터를 가져올지예요. 처음부터 인스타그램이나 로그인 기반 커뮤니티를 직접 크롤링하면 문제가 많아요. 로그인 처리로 코드가 복잡해지고, 봇 탐지로 요청이 차단되고, 사이트 구조가 바뀌면 코드가 멈추고, 서비스 이용 약관까지 따로 확인해야 하거든요. 그래서 초보자는 공식 API와 공식 RSS 피드부터 시작하는 게 좋아요.
입력한 검색어와 관련된 뉴스 검색 결과를 JSON 또는 XML로 받아옵니다. 네이버 개발자센터에서 애플리케이션을 등록하고 Client ID와 Client Secret을 발급받아야 해요. 예를 들어 아래 키워드를 등록했다고 가정해볼게요.
AI 마케팅
인스타그램 알고리즘
리쥬란
울쎄라
다이어트 얼굴 꺼짐
Python이 매일 API에 해당 키워드를 요청하면 검색 키워드, 기사 제목, 원문 링크, 네이버 뉴스 링크, 기사 설명, 발행일을 가져올 수 있습니다.
뉴스 API는 신제품·신규 기술 출시, 업계 정책 변경, 특정 시술·성분의 반복 등장, 여러 언론사에서 동시에 다루는 주제, 최근 24시간 안의 새 이슈를 찾는 데 유용해요. 다만 뉴스에 많이 등장한다고 무조건 소비자 관심도가 높은 건 아닙니다. 기업 보도자료가 여러 매체에 반복 게재된 경우도 있으니, 같은 제목이나 유사 문장을 가진 기사는 중복 제거하는 게 좋아요.
