DDM(Datarize Dev Meetup)의 세 번째 발표는 데이터 에널리티스트 엔지니어(DAE) 윤정님입니다. 윤정님은 데이터라이즈에서 정의하는 DAE의 역할을 주제로 발표했습니다. 총 3가지로 정리할 수 있는 데이터라이즈의 DAE 역할을 확인해 보세요!
안녕하세요, Data Scientist로 입사해서 지금은 DAE(Data Analytics Engineer) 업무를 담당하고 있는 김윤정입니다. DAE에 대한 정의는 사람마다, 회사마다 모두 다른데요. 오늘은 데이터라이즈의 DAE에 대해 말씀드리려 합니다.
앞선 발표에서 보셨듯이, 저희 고객사에서는 데이터라이즈를 통해 CRM 메시지를 발송합니다. 예를 들어, 신발을 판매하는 쇼핑몰은 러닝화를 장바구니에 담았지만 구매는 하지 않은 고객에게 해당 상품을 추천하는 친구톡 메시지를 발송하길 원합니다. 이런 요청이 있으면 저희는 이에 맞는 고객과 상품을 찾아서 카카오톡으로 메시지를 발송합니다. 또 다른 예시로 구매 가능성이 높은 고객에게 관심 있을 상품을 친구톡 메시지로 보내달라는 요청도 있습니다. 이때는 데이터 기반의 예측이 필요한 피처를 사용하는 요청 사항도 있습니다.
그래서 데이터라이즈는 OOO인 고객은 오디언스로, OOO인 상품은 추천 상품으로, 친구톡과 같은 메시지 발송 창구는 채널이라는 용어와 개념으로 정의하고 이를 기반으로 시스템을 구축하고 있습니다. 처음에 보셨던 예시도 오디언스, 추천상품, 채널로 분류할 수 있습니다. 고객사는 두 가지 이상의 메시지를 하루에 발송해달라고 요청하기도 하고, 새로운 조건의 오디언스와 상품으로 마케팅을 시도하기도 합니다. 이 모든 요청 사항과 비즈니스 로직을 소화하기 위해서 DAE의 역할이 요구됩니다.
데이터라이즈의 DAE의 첫 번째 역할은 프로덕트에 결부된 비즈니스 로직을 데이터 로직으로 해석하고 적용하는 일입니다. 한 가지 예시로 저희는 고객사 고객들이 메시지를 너무 많이 받아서 발생하는 피로도를 관리하기 위해 “한 명의 고객이 하루 동안 채널별로 수신하는 메시지는 1개”라는 비즈니스 정책을 시행하고 있습니다. DAE는 한 사람이 두 개 이상의 캠페인 대상자일 때 효율이 높은 한 개의 캠페인을 선택해서 발송하는 로직을 개발합니다. 방식은 여러 가지가 있겠으나 현재는 여러 이해 당사자들과의 합의를 통해 Multi-armed bandit 문제로 해석해서 캠페인을 선택하고 있습니다.
데이터라이즈 DAE의 역할 두 번째는 프로덕트 전체에 일관된 로직으로 데이터가 처리되도록 관리하는 것입니다. 고객사 어드민에서 조회되는 데이터, 데이터라이즈 콘솔에 노출되는 데이터, 메시지 발송에 사용되는 데이터가 모두 일관성을 갖춰 신뢰하고 사용할 수 있는 데이터를 만듭니다.
데이터라이즈 DAE의 역할 세 번째는 오디언스와 추천 상품 등의 데이터 처리를 자동화하는 것입니다. 고객사의 요청사항은 모두 다르고 회사가 성장함에 따라 요청 건도 많아지고 있습니다. 이 자료를 만들던 시점에 하루 동안 처리해야 하는 메시지 캠페인만 3000개에 가까웠는데요. 이를 위해 자동화는 필수이고 자동화가 저희 제품의 핵심이라고 할 수 있습니다.
앞서 말씀드린 세 가지 포인트를 수행하는 동시에 당연하게도 데이터 파이프라인 설계, 효율적인 데이터 처리 등의 엔지니어링적인 요소를 고려합니다. DAE는 프로덕트와 데이터를 잇는 가교의 역할을 하고 있다고 말씀드릴 수 있을 것 같아요. 프로덕트 전반에 흐르는 데이터를 조망하고, 프로덕트에서 사용할 수 있는 데이터가 어딘가 존재한다면 PM이나 기획자분들께 안내도 하고 있습니다. 이런 점에서 발표 타이틀을 “데이터 읽어주는” DAE라고 지어보았습니다.
저는 DS이기 때문에 추천을 위한 데이터 모델링도 추가로 진행하고 있어요. 결국 데이터라이즈 데이터 챕터에서는 데이터가 비즈니스가 될 수 있도록 하는 일이라면 직군명에 관계없이 무엇이든 하실 수 있습니다.
올해 하반기에는 꼭 여기에 국한되어 있는 것은 아니지만 타임존을 고려한 메시지 대상자 추출 파이프라인, CRM 메시지 발송 시간 최적화 방법론과 아키텍쳐, 그리고 추천 상품 추출 완전 자동화를 주요하게 고민하고 있습니다. 이 다양한 고민을 함께하고 싶은 분이라면 꼭 함께할 수 있길 바라며 발표를 마치겠습니다!
