2년 차 프로덕트 매니저(이커머스 마케팅 도메인) / 프로덕트 매니지먼트, 플랫폼 기획, 다수의 신규 프로덕트 기획 리드 / 팀장 대행
[콘텐츠 발행일: 2023.05.22]
시작에 앞서, 한 사원의 안타까운 이야기를 들어보실래요?
여기 매일 30분 일찍 출근하는 안 사원이 있습니다. 회사에서 파는 상품과 관련 있는 기사들을 상사에게 매일 보고해야 하기 때문이죠. 안 사원은 구글에서 키워드를 검색해서 뉴스 탭에 들어간 후, 제목과 짤막한 설명을 보고 괜찮아 보이는 기사의 제목과 URL을 엑셀에 리스트업합니다.
처음엔 키워드 2개 정도에 대한 기사만 리스트업하면 됐는데, 자사에서 취급하는 상품의 카테고리가 늘어나 이제는 키워드 10개 정도를 검색해야 하네요.
이 생활을 반복한 지 벌써 하루, 이틀, 한 달… 어느덧 1년이 됐습니다. 안 사원은 이 단순 반복되는 업무에 매일 30분을 뺏기고 있다는 사실에 회의감을 느낍니다. 그래서 개발팀에게 크롤러를 개발해 달라고 요청하죠. 하지만 개발팀은 이미 급한 업무가 있다고 합니다. 그는 변함없이 30분을 똑같은 일에 사용하게 되었습니다.
퍼블리에서 이 아티클을 보고 계신다면 챗GPT에 대해서는 이미 어느 정도 알고 있거나, 혹은 사용하고 계실 거라고 생각합니다. 대부분 챗GPT로 검색을 하거나, 'Write a list of something' 정도의 프롬프트로 아이디어의 초안을 만드는 선에서요. 사실은 더 많은 것들을 챗GPT로 할 수 있는데도 불구하고 말이죠!
그래서 오늘은 독자분들께 비전공자도 할 수 있는 챗GPT의 고급 활용 사례를 알려 드리려고 합니다. 바로 정보 수집을 자동화할 수 있는 크롤러를 만드는 방법입니다!
크롤러는 웹페이지의 내용을 수집하고 처리하는 프로그램을 의미합니다. 우리가 아티클을 보다가 마음에 들면 스크랩해서 보관하는 과정을 프로그램이 대신 해주는 것이라고 생각할 수 있죠. 크롤러 사용의 가장 큰 장점은 반복되는 업무를 사람 대신, 사람보다 빠르게 해주기 때문에 시간적 여유가 생긴다는 것입니다.
이번 아티클에서는 챗GPT로 파이썬 언어를 사용해 뉴스 기사 크롤러, API를 활용한 크롤러, 이 2가지 유형의 크롤러를 만드는 방법과 사례를 다룰 예정입니다.
단, 저희는 파이썬을 설치하지 않을 생각이고요. 파이썬 코드를 동작시킬 수 있는 Google의 Colaboratory라는 툴을 사용할 겁니다. 구글 로그인만 하면 돼서 접근성이 좋고, 코드를 작성하고 동작시키는 방법이 직관적인 만큼 여러분도 충분히 따라 하실 수 있을 겁니다.
친절하게 내용을 바꿀 수 있는 부분을 대괄호로 표시해서 알려주네요. 함께 고려하면 좋은 사항들까지 말해줍니다. 챗GPT에게 제대로 명령하기 위한 프롬프트의 특징을 아래와 같이 요약할 수 있겠습니다.
해야 하는 것을 한 문장으로 간단하게 설명해도 된다. (단, 명료해야 함)
자세한 설명은 조건 형태로 하단에 작성해도 된다.
✅ Tip: 유료 프롬프트를 구매할 수도 있어요!
생성 AI들은 프롬프트로 동작하는 만큼, 검증된 프롬프트를 사고 파는 플랫폼이 존재합니다. 대표적으로 '프롬프트베이스' 같은 곳이 있죠. 이런 곳에서 사고 팔리는 유료 프롬프트는 이미 많은 사용자들이 검증을 마친 것입니다. 단, 원하는 용도의 프롬프트를 찾기 힘들다는 단점이 있습니다.
