데이터 엔지니어는 기업 내 데이터 인프라를 구축, 기업 내 데이터 기초 공사를 합니다. 데이터를 어떻게 수집할지, 어떻게 쌓을지, 어떻게 관리할지를 고민해서 회사 내 데이터의 흐름을 생성합니다.
건물의 기초 공사가 잘 되어 있어도 가끔 누수가 생기고 확장을 했을 때 문제가 발생할 수 있듯이 데이터 엔지니어는 구축한 기업 내 데이터 인프라가 유실 없이, 확장성 높게, 효율적으로 개선해나가는 역할을 하기도 합니다.
데이터 엔지니어 박수성 #SSG닷컴
간단한 자기소개 부탁드려요!
빅데이터 파트에서 데이터 엔지니어 업무를 하고 있습니다.
데이터 엔지니어의 범위가 회사마다, 업무마다 조금씩 차이가 있을 수 있지만 전체적인 과정을 모두 처리하고 있습니다. 서비스를 하면서 발생되는 데이터를 수집하고 저장합니다. 이렇게 저장된 데이터는 여러 부분에 사용하고 있습니다.
예를 들어 누가 어떤 지표를 보고 싶다고 하면 데이터를 가공하여 보고자 하는 지표를 계산해서 필요한 곳에 전달합니다. 또한 데이터를 활용하여 머신러닝 알고리즘을 수행하여 추천상품과 같은 특별한 데이터를 만들어내고 직접 서비스에 제공하기도 합니다.
구체적으로 고객의 방문, 장바구니, 주문 등 고객의 행동 데이터를 바탕으로 함께 등장하는 빈도가 높은 상품들끼리 묶어서 A상품을 구매하려는 고객에게 B상품을 노출하여 구매를 유도할 수 있을 것입니다.
정리하면, 데이터 수집·저장·가공을 통해 필요한 데이터를 만들어내는 일련의 과정을 만들어내고 자동화하고 있습니다.
해당 직무 수행에 필요한 역량은 무엇인가요?
크게 두 부분으로 나눌 수 있습니다.
한 가지는 데이터 수집·저장·처리 프레임워크를 다루면서 필요한 곳에 데이터를 전달하기 위해 파이프라인을 구축하는 일입니다. 이러한 파이프라인을 구축하기 위해서는 빅데이터 플랫폼의 전반적인 구조를 알아야 합니다. 이미 구축되어 있는 경우 아키텍처를 크게 건드릴 일은 없습니다.*
* 파이프라인과 아키텍처의 차이라면 여러 파이프라인이 모여 큰 생태계인 아키텍처를 구성한다고 보면 될 것 같습니다.
4분 분량
