[미디어의 미래 컨퍼런스 2024] 네이버가 AI 검색 엔진 ‘큐(Cue):’를 만든 이유

AI와 LLM, 그리고 초록 검색창

안녕하십니까. 네이버에서 발견·탐색 프로덕트 부문장을 맡고 있는 최재호라고 합니다. 저희 조직에서는 통합 검색과 홈피드, 클립 등 다양한 추천을 제공하고 있고요. AI로 서비스를 만드는 역할도 하고 있습니다.

오늘 주제가 '생성형 AI와 검색의 진화'라고 했는데요. 오늘은 저희가 계속해서 개발하고 있는 내용들에 대해서 보여드리고, 또 개인적인 느낌이라든가 방향성에 대해서 말씀드리도록 하겠습니다.

우선 최근 10년의 LLM 개발 과정을 잠깐 살펴보겠습니다. 생성형 AI라는 게 결국은 처음에 번역 모델에서 나오게 됐잖아요. 구글이 2014년에 시퀀스 투 시퀀스(Seq2Seq)라는 신경망 기반의 최초 번역 모델을 만들었고요. 그 모델을 통해서 어떤 한국어를 입력하면 영어가 나오고 영어를 입력하면 한국어가 나오는 그런 구조로 거대 언어모델을 만들어서 높은 성능을 보여줬습니다.

이어 2017년에 나온 트랜스포머(Transformer)라는 모델은 인코더와 디코더로 나뉘는데, 그 인코더 부분을 이용해서 다양한 태스크를 할 수 있도록 구글에서 BERT라는 모델이 나왔고, 비슷한 시기에 오픈AI가 그 디코더 부분을 이용해서 GPT라는 모델을 만들었는데 그 모델이 지금 여러분들이 잘 아시는 챗GPT가 된 것이죠.

그래서 보통 생성형 AI와 LLM의 관계를 궁금해 하시는데요. 이 트랜스포머 모델의 디코더 부분을 가지고 아까 말씀드렸듯이 입력을 해주면 출력을 해주는 그 모델 파트를 생성을 해준다고 해서 '생성형 모델'이라고 부릅니다. LLM은 좀 더 큰 개념이라고 이해하시면 될 것 같습니다.

그리고 네이버도 사실 2020년에 남들보다 조금 더 먼저 이 분야에 진출했었는데요. HyperCLOVA라는 모델을, 세계에서 세 번째로 라지 랭귀지 모델을 만들게 됐고, 이 모델은 한국어 데이터를 위주로 많이 넣었죠. 저희가 검색이나 추천 등을 오랫동안 연구하고 있었기 때문에 구글이나 오픈 AI가 하는 그런 다양한 태스크들을 성공적으로 수행하기 위해서 이런 모델이 필요해서 만들게 되었고요.

그 이후에 일반 사용자분들이 제일 잘 아시는 챗GPT라는 것이 나와서 되게 자연스러운 대화 능력을 보여줬습니다. 그게 'Chat-Instruct'라는 기술을 이용한 거예요. 명령을 주면은 아무 말 대잔치를 하는 것이 아니라 그 명령에 합당하게 적합하게 답하게끔 학습시키는 방법들이 만들어졌습니다. 

그 이후에 모델 사이즈를 매우 크게 하면서 멀티 모달을 갖춘 GPT4라는 모델이 나왔죠. 저희도 작년에  'HyperCLOVA X'라는 모델로 출시하게 됐고, 그 모델은 영어랑 핫코딩 데이터를 넣어서 좀 더 많은 능력을 갖추게 됐습니다.

그리고 잘 아시다시피 최근에는 이제 GPT 4o가 굉장히 좋은 성능을 보여주고 있습니다. 음성까지도 처리해 줄 수 있는 모습을 보였는데, 저희도 한 박자 느리긴 하지만 최근에 '하이퍼클로바 엑스 비전(HCX Vision)'이라는 모델을 만들어서 자체적인 파운데이션 모델의 경쟁력을 계속해서 강화하고 있습니다.