포지션 상세
버즈빌의 데이터 엔지니어링팀은 데이터가 생산되는 레이어부터 데이터가 소비되는 레이어까지를 아우르는 데이터 플랫폼과 워크플로우의 설계 및 운영을 담당하는 조직입니다. 현재 1,800만 MAU, 30여개의 마이크로 서비스로부터 흘러들어오는 TBs/day 볼륨의 데이터가 scalable하게 적재적소에 활용 될 수 있는 데이터 플랫폼을 만들어가고 있습니다.
데이터의 원천으로부터 데이터 레이크(S3, Athena)까지 흘려보내는 ELT 워크플로우들은 Airflow를 통해 관리하고 있으며, AWS EKS 클러스터 위에서 약 1300개의 DAG를 운영하고 있습니다. Airflow를 고도화하여 YAML 명세 기반 워크플로우 관리를 포함한 다양한 시도를 통해 분석가나 서버/ML 개발자가 직접 워크플로우를 등록하는 self-serving 플랫폼을 지향하고 있습니다.
전반적인 데이터 인프라를 AWS와 Kubernetes 상에서 Terraform과 Helm으로 관리하고 있으며, 주요 스택으로는 S3, Athena, Kafka, DataHub, Fluentbit, Loki, Redash 등을 활용하고 있습니다
• 리워드 광고의 본질: https://www.buzzvil.com/career/culture_blog/jwcVGiVa7DxL7MRBCsKNF
• 버즈빌 광고 상품 자세히 알아보기: https://www.buzzvil.com/
• 하루 1억 건 이상을 처리하는 견고한 포인트 시스템 구축하기│인프콘2024: https://www.youtube.com/watch?v=4TxlNyMeTis
• 버즈빌 테크 블로그: https://tech.buzzvil.com/
• 버즈빌, 최고의 리그에서 최고의 선수가 탄생하는 이유: https://buly.kr/BTQyb76
[개발 환경]
• 주요 기술 : Go, Python, Airflow, Athena, Kafka, Kubernetes, Fluentbit, Loki
• 업무 도구 : Jira, Confluence, Slack, Github
• 코드 리뷰 : 한 명 이상의 Approve를 받아야 코드 반영이 가능하고, 팀원들이 코드 리뷰에 적극적으로 참여합니다.
• 테스트/빌드/배포 : Github Action, Gitploy
• 모니터링 : Datadog, Grafana, Prometheus, AWS CloudWatch
[개발 문화]
성장을 위한 개발 문화와 훌륭한 동료 버즈빌은 회사와 팀, 개인 모두의 성장을 적극적으로 지원합니다. 좋은 문화와 훌륭한 동료 덕분에 빠른 성장을 경험할 수 있습니다.
• 코드 리뷰를 통한 적극적인 공유 및 소통
• 활발하게 이루어지는 사내 스터디 및 세미나
• AI 툴 적극 지원(Claude code Max $200 플랜, ChatGPT, Cursor, Github copilot, Coderabbit)
• 좋은 설계와 좋은 코드를 위한 지속적인 노력
• 직군의 경계를 허무는 능동적인 참여 문화
• 자율적이고 효율적인 업무 프로세스
• 새로운 기술 도입에 대한 적극적인 논의와 지원
1. DataLake
데이터 플랫폼 단순화를 위해 데이터 웨어하우스로 사용하던 Redshift를 제거하고 S3/Athena 기반 데이터 레이크로 플랫폼을 통합했습니다. 현재 Hive 포맷 테이블들을 Iceberg로 전환하는 작업을 진행 중이며, ACID 트랜잭션, 레코드 수준 변경 등 유연한 기능들을 데이터 플랫폼 전반에 확대해 나가고 있습니다. 데이터 플랫폼상에서의 비효율을 포착하고 최적화하는 일을 같이 진행해 보고 싶습니다.
2. DataDiscovery
DataHub을 데이터 카탈로그로 사용 중입니다. 테이블/컬럼 수준의 설명, 태그, 오너십 등 카탈로깅 작업은 대부분 수작업에 의존하고 있어 관리 부담이 높은 상황입니다. LLM을 활용하여 테이블·컬럼 설명 작성, 태그 및 오너십 추천 등 카탈로깅 작업을 자동화하는 파이프라인을 함께 설계하고 구축해 나가고자 합니다.
3. RealtimeSync
현재 운영계의 데이터는 대부분 배치로만 분석계에 반영되고 있어, 실시간 분석 및 의사결정에 한계가 있습니다. CDC를 활용해 운영계 DB의 변경 사항을 실시간으로 캡쳐하고, 이를 데이터 레이크까지 반영하는 파이프라인을 함께 설계하고 구축해 나가고자 합니다. 단순한 구축을 넘어 안정적이고 정합성 높은 파이프라인을 만드는 것을 목표로 합니다.
4. Observability
현재 서비스 및 인프라 로그는 Loki에서 최근 데이터를 조회하고, 장기 보관 데이터는 Fluentbit을 통해 S3에 적재하여 Athena로 분석하는 구조로 운영하고 있습니다. 일부 구간에서 데이터 유실 가능성이 있어, 수집부터 적재까지 전 구간에 걸쳐 안정적으로 동작하는 로그 아키텍처로 개선하는 작업을 함께 해나가고자 합니다.
• 데이터 엔지니어의 Airflow 데이터 파이프라인 CI 테스트 개선기: https://buly.kr/BTQYU43
• Self Serving Data Platform 구축하기 (feat. Airflow): https://buly.kr/1xzdW14
• 분산 처리 시스템을 활용하여 대규모 데이터 파이프라인을 설계하고 운영한 경험이 있습니다.
• 높은 코드 퀄리티와 아키텍처 수준을 지향하며, 이를 데이터 플랫폼 및 데이터 제품에 녹여낼 수 있습니다.
• Airflow와 같은 워크플로우 scheduler (Prefect, Dagster 등)에 대한 이해와 이를 활용한 워크플로우 개발 경험이 있습니다.
• CS 전공자 또는 그에 상응하는 알고리즘, 데이터구조, OS, 데이터베이스 등 기본적인 전산 지식에 대한 이해도가 있습니다.
데이터의 원천으로부터 데이터 레이크(S3, Athena)까지 흘려보내는 ELT 워크플로우들은 Airflow를 통해 관리하고 있으며, AWS EKS 클러스터 위에서 약 1300개의 DAG를 운영하고 있습니다. Airflow를 고도화하여 YAML 명세 기반 워크플로우 관리를 포함한 다양한 시도를 통해 분석가나 서버/ML 개발자가 직접 워크플로우를 등록하는 self-serving 플랫폼을 지향하고 있습니다.
전반적인 데이터 인프라를 AWS와 Kubernetes 상에서 Terraform과 Helm으로 관리하고 있으며, 주요 스택으로는 S3, Athena, Kafka, DataHub, Fluentbit, Loki, Redash 등을 활용하고 있습니다
• 리워드 광고의 본질: https://www.buzzvil.com/career/culture_blog/jwcVGiVa7DxL7MRBCsKNF
• 버즈빌 광고 상품 자세히 알아보기: https://www.buzzvil.com/
• 하루 1억 건 이상을 처리하는 견고한 포인트 시스템 구축하기│인프콘2024: https://www.youtube.com/watch?v=4TxlNyMeTis
• 버즈빌 테크 블로그: https://tech.buzzvil.com/
• 버즈빌, 최고의 리그에서 최고의 선수가 탄생하는 이유: https://buly.kr/BTQyb76
[개발 환경]
• 주요 기술 : Go, Python, Airflow, Athena, Kafka, Kubernetes, Fluentbit, Loki
• 업무 도구 : Jira, Confluence, Slack, Github
• 코드 리뷰 : 한 명 이상의 Approve를 받아야 코드 반영이 가능하고, 팀원들이 코드 리뷰에 적극적으로 참여합니다.
• 테스트/빌드/배포 : Github Action, Gitploy
• 모니터링 : Datadog, Grafana, Prometheus, AWS CloudWatch
[개발 문화]
성장을 위한 개발 문화와 훌륭한 동료 버즈빌은 회사와 팀, 개인 모두의 성장을 적극적으로 지원합니다. 좋은 문화와 훌륭한 동료 덕분에 빠른 성장을 경험할 수 있습니다.
• 코드 리뷰를 통한 적극적인 공유 및 소통
• 활발하게 이루어지는 사내 스터디 및 세미나
• AI 툴 적극 지원(Claude code Max $200 플랜, ChatGPT, Cursor, Github copilot, Coderabbit)
• 좋은 설계와 좋은 코드를 위한 지속적인 노력
• 직군의 경계를 허무는 능동적인 참여 문화
• 자율적이고 효율적인 업무 프로세스
• 새로운 기술 도입에 대한 적극적인 논의와 지원
주요업무
팀에 조인하셔서, 아래의 과업들을 같이 풀어나가면 좋겠습니다.1. DataLake
데이터 플랫폼 단순화를 위해 데이터 웨어하우스로 사용하던 Redshift를 제거하고 S3/Athena 기반 데이터 레이크로 플랫폼을 통합했습니다. 현재 Hive 포맷 테이블들을 Iceberg로 전환하는 작업을 진행 중이며, ACID 트랜잭션, 레코드 수준 변경 등 유연한 기능들을 데이터 플랫폼 전반에 확대해 나가고 있습니다. 데이터 플랫폼상에서의 비효율을 포착하고 최적화하는 일을 같이 진행해 보고 싶습니다.
2. DataDiscovery
DataHub을 데이터 카탈로그로 사용 중입니다. 테이블/컬럼 수준의 설명, 태그, 오너십 등 카탈로깅 작업은 대부분 수작업에 의존하고 있어 관리 부담이 높은 상황입니다. LLM을 활용하여 테이블·컬럼 설명 작성, 태그 및 오너십 추천 등 카탈로깅 작업을 자동화하는 파이프라인을 함께 설계하고 구축해 나가고자 합니다.
3. RealtimeSync
현재 운영계의 데이터는 대부분 배치로만 분석계에 반영되고 있어, 실시간 분석 및 의사결정에 한계가 있습니다. CDC를 활용해 운영계 DB의 변경 사항을 실시간으로 캡쳐하고, 이를 데이터 레이크까지 반영하는 파이프라인을 함께 설계하고 구축해 나가고자 합니다. 단순한 구축을 넘어 안정적이고 정합성 높은 파이프라인을 만드는 것을 목표로 합니다.
4. Observability
현재 서비스 및 인프라 로그는 Loki에서 최근 데이터를 조회하고, 장기 보관 데이터는 Fluentbit을 통해 S3에 적재하여 Athena로 분석하는 구조로 운영하고 있습니다. 일부 구간에서 데이터 유실 가능성이 있어, 수집부터 적재까지 전 구간에 걸쳐 안정적으로 동작하는 로그 아키텍처로 개선하는 작업을 함께 해나가고자 합니다.
• 데이터 엔지니어의 Airflow 데이터 파이프라인 CI 테스트 개선기: https://buly.kr/BTQYU43
• Self Serving Data Platform 구축하기 (feat. Airflow): https://buly.kr/1xzdW14
자격요건
• 1년 이상의 AWS, GCP등 cloud native 환경에서의 데이터 인프라 구축 및 운영 경험을 가지고 있습니다.• 분산 처리 시스템을 활용하여 대규모 데이터 파이프라인을 설계하고 운영한 경험이 있습니다.
• 높은 코드 퀄리티와 아키텍처 수준을 지향하며, 이를 데이터 플랫폼 및 데이터 제품에 녹여낼 수 있습니다.
• Airflow와 같은 워크플로우 scheduler (Prefect, Dagster 등)에 대한 이해와 이를 활용한 워크플로우 개발 경험이 있습니다.
• CS 전공자 또는 그에 상응하는 알고리즘, 데이터구조, OS, 데이터베이스 등 기본적인 전산 지식에 대한 이해도가 있습니다.
