2016년 컴투스 재입사해서 진행한 빅데이터 프로젝트입니다.

이 프로젝트에서 제가 한 일은 이하 회사 기술블로그에 자세히 나와있습니다.

Google 클라우드 플랫폼 기반 빅데이터 시스템 구축기

https://tech.gamevilcom2us.com/blog/3922

한 일

구현 내용

• 레거시 DW 통합 (SQL Server 기반의 과거 DW 를 구글 클라우드로 이관)
• 신규 ETL 파이프라인 구축 ( 1일 로그량 500G / 전체 DW용량 1.5 PB)

기술 스택

• DW : 구글 클라우드 빅쿼리 ( 저장소 및 SQL 분석 )
• DM : 구글 클라우드 및 MySQL

• ETL

  • Fluentd / Scribed
  • Kafka
  • 구글 클라우드 Pubsub
  • 구글 클라우드 dataflow 스트리밍 데이터 변환 구현 ( Apache Beam )
  • embulk + digdag 워크플로우 엔진을 통한 집계 스케쥴러 구축
  • Python 자체 구현 Mysql 스트리밍 입력 구현

개발환경

• IntelliJ, PyCharn, vscode
• git (사내 gitlab)
• jenkins 배포 (직접구축)

구축 및 운영 히스토리

• 2016년 신규 데이터 플랫폼 구축 리드 역할로 입사
• 2016년 DW파트장으로서 구글 클라우드 플랫폼 검토 및 웹 프로토타입 개발 및 데이터 이관 작업
• 2017년 파트원 증원되어 3명으로 ETL / WEB 업무 할당하고 프로젝트 리드
• 2018년 신규 데이터 플랫폼 및 웹사이트 오픈 (HIVE애널리틱스)
• 2019년 과거데이터 통합 및 신규 기능 출시. 지속적인 서비스 안정화.
• 2020년~ 데이터기술팀장. 데이터 플랫폼팀 관리 업무. 구글 클라우드 비용 최적화

구글 클라우드 우수 고객 사례

https://cloud.google.com/customers/gamevil?hl=ko

여담

사실 2011년에 퇴사한 회사에 재입사 할 생각은 없었는데요.

NHN 스타피시에서 프로젝트 드랍 직전, 컴투스에서 같이 일했던 동료분에게 전화가 왔습니다.

"지금 얼마 받아요?"

연봉 올려줄태니 돌아오라고 합니다.

그 동료분은 이 때 데이터팀의 팀장이 되어있으셨고, 신규 프로젝트를 진행할 서버 개발자를 찾고 있었다합니다.

마침 NHN 에서의 프로젝트는 산으로 가던중이고, 많은 고민을 하던 찰나에 많이 흔들렸습니다.

사실 근무 환경은 판교가 좋았고 삭막한 가산디지털단지가 영 맘에는 안들었지만...

유망한 빅데이터 업무를 하게될 것이라는 기대감 + 연봉도 올려준다길래

이때 이직하는게 미래를 위해 여러모로 유리하다고 판단했습니다.

게임개발에 약간 정이 떨어진 점도 있고 해서요.

그래서, 다시 고향으로 돌아왔습니다.

컴투스 재입사 ㅎㅎ

직종은 게임서버개발이 아닌 플랫폼서버개발로, 데이터 엔지니어 경력이 시작되었습니다.