AI와 LLM, 그리고 초록 검색창
💡 10분 안에 이런 내용을 알려드려요!
- LLM? ChatGPT? 최근 10년 동안의 LLM의 개발과 진화 과정
- 내 마음을 읽는 검색창을 만드는 방법과 현업자의 기술적인 설명
- 네이버와 구글 등 글로벌 업체들의 LLM은 어디로 가고 있는가?
* 본 아티클은 미디어오늘의 컨퍼런스 〈미디어의 미래 컨퍼런스 2024〉 중 일부를 퍼블리의 시선으로 발췌해 큐레이션한 것입니다.
✍️ Editor's Comment
'미디어의 미래 컨퍼런스'는 미디어오늘이 2015년부터 주최하는 컨퍼런스로, 언론과 미디어 업계 종사자들이 변화와 도전에 대해 인사이트를 나누는 컨퍼런스예요. 올해 컨퍼런스의 주제는 'AI와 스토리테크, 새로운 미디어의 도래' 였는데요. AI로 인해 변화하는 미디어의 모습과 이에 대한 다양한 도전과 성과를 공유한 연사분들의 강연 중 일부를 발췌했어요. 미디어 업계에 종사하고 있는 퍼블리 독자분들에게 AI와 미디어의 관계를 생각해볼 수 있는 계기가 되길 바랍니다.
안녕하십니까. 네이버에서 발견·탐색 프로덕트 부문장을 맡고 있는 최재호라고 합니다. 저희 조직에서는 통합 검색과 홈피드, 클립 등 다양한 추천을 제공하고 있고요. AI로 서비스를 만드는 역할도 하고 있습니다.
오늘 주제가 '생성형 AI와 검색의 진화'라고 했는데요. 오늘은 저희가 계속해서 개발하고 있는 내용들에 대해서 보여드리고, 또 개인적인 느낌이라든가 방향성에 대해서 말씀드리도록 하겠습니다.
우선 최근 10년의 LLM 개발 과정을 잠깐 살펴보겠습니다. 생성형 AI라는 게 결국은 처음에 번역 모델에서 나오게 됐잖아요. 구글이 2014년에 시퀀스 투 시퀀스(Seq2Seq)라는 신경망 기반의 최초 번역 모델을 만들었고요. 그 모델을 통해서 어떤 한국어를 입력하면 영어가 나오고 영어를 입력하면 한국어가 나오는 그런 구조로 거대 언어모델을 만들어서 높은 성능을 보여줬습니다.
이어 2017년에 나온 트랜스포머(Transformer)라는 모델은 인코더와 디코더로 나뉘는데, 그 인코더 부분을 이용해서 다양한 태스크를 할 수 있도록 구글에서 BERT라는 모델이 나왔고, 비슷한 시기에 오픈AI가 그 디코더 부분을 이용해서 GPT라는 모델을 만들었는데 그 모델이 지금 여러분들이 잘 아시는 챗GPT가 된 것이죠.
그래서 보통 생성형 AI와 LLM의 관계를 궁금해 하시는데요. 이 트랜스포머 모델의 디코더 부분을 가지고 아까 말씀드렸듯이 입력을 해주면 출력을 해주는 그 모델 파트를 생성을 해준다고 해서 '생성형 모델'이라고 부릅니다. LLM은 좀 더 큰 개념이라고 이해하시면 될 것 같습니다.
그리고 네이버도 사실 2020년에 남들보다 조금 더 먼저 이 분야에 진출했었는데요. HyperCLOVA라는 모델을, 세계에서 세 번째로 라지 랭귀지 모델을 만들게 됐고, 이 모델은 한국어 데이터를 위주로 많이 넣었죠. 저희가 검색이나 추천 등을 오랫동안 연구하고 있었기 때문에 구글이나 오픈 AI가 하는 그런 다양한 태스크들을 성공적으로 수행하기 위해서 이런 모델이 필요해서 만들게 되었고요.
그 이후에 일반 사용자분들이 제일 잘 아시는 챗GPT라는 것이 나와서 되게 자연스러운 대화 능력을 보여줬습니다. 그게 'Chat-Instruct'라는 기술을 이용한 거예요. 명령을 주면은 아무 말 대잔치를 하는 것이 아니라 그 명령에 합당하게 적합하게 답하게끔 학습시키는 방법들이 만들어졌습니다.
그 이후에 모델 사이즈를 매우 크게 하면서 멀티 모달을 갖춘 GPT4라는 모델이 나왔죠. 저희도 작년에 'HyperCLOVA X'라는 모델로 출시하게 됐고, 그 모델은 영어랑 핫코딩 데이터를 넣어서 좀 더 많은 능력을 갖추게 됐습니다.
그리고 잘 아시다시피 최근에는 이제 GPT 4o가 굉장히 좋은 성능을 보여주고 있습니다. 음성까지도 처리해 줄 수 있는 모습을 보였는데, 저희도 한 박자 느리긴 하지만 최근에 '하이퍼클로바 엑스 비전(HCX Vision)'이라는 모델을 만들어서 자체적인 파운데이션 모델의 경쟁력을 계속해서 강화하고 있습니다.