포지션 상세

시니어 데이터 엔지니어는 BigQuery 기반의 데이터 웨어하우스를 관리하며, AWS DMS/Kafka Connect/Airflow를 활용한 CDC 및 배치 파이프라인을 AWS EKS/NiFi/Flink 환경에서 운영합니다. 또한 단순 운영을 넘어, 전사가 데이터를 효율적으로 사용해 성과를 극대화할 수 있는 기술적 기반을 만듭니다. 수백 테라바이트 규모의 데이터와 수백 개의 데이터 파이프라인을 다루며, 데이터 메시 아키텍처로의 전환이라는 큰 그림을 직접 설계하고 있습니다. 더불어 최신 GenAI 도구를 운영 자동화에 적극 도입해, 반복 업무는 AI에 맡기고 사람은 더 어려운 문제에 집중하고 있습니다.

주요업무

• 데이터 플랫폼 개발
· 서로 다른 데이터 소스와 관리되지 않은 권한 체계를 묶어 거버넌스를 확립하는 데이터 메시 플랫폼 구축
· Data Observability 및 품질 관리 체계 구축 (파이프라인 사용량/현황 가시화, 누락/중복/지연 감지, 품질 및 성능 이상 징후 탐지)
· Data FinOps 도구 개발 (프로젝트 및 도메인별 비용 현황 가시화, 비정상 사용 패턴 인지, 조기 비용 파악을 통한 절감)

• 데이터 인프라 운영
· 데이터 파이프라인 운영을 위한 AWS / GCP 클라우드 인프라 운영 및 조정
· 파이프라인 변화에 따른 인프라 운영/조정
· 비용/안정성/확장성의 균형을 고려한 인프라 설계

자격요건

• 8년 이상 데이터 엔지니어링 관련 경험을 보유하신 분
• 한 가지 이상의 개발 언어를 다루며 운영 도구를 직접 개발할 수 있는 분
• 아래 스택 중 다수를 실무에서 다뤄본 분: BigQuery(또는 대규모 데이터 웨어하우스), Airflow, Kafka / Kafka Connect, Spark / Flink, 컨테이너(Docker / Kubernetes), AWS 또는 GCP
• 오픈소스/데이터 엔지니어링 기술을 단순히 도입해본 수준을 넘어, 직접 프로덕션에서 운영하며 장애 대응과 트러블슈팅을 경험해본 분
• 특정 기술을 사용해본 경험에 그치지 않고, 그 기술이 어떤 문제를 풀기 위해 탄생했는지와 어디까지가 한계인지를 이해하며, 도입 시의 비용/복잡성/유지보수 부담까지 함께 고민해본 분

• 사용 기술 스택
· 데이터 웨어하우스: BigQuery
· 클라우드: AWS / GCP
· 데이터 파이프라인: Airflow, NiFi, Flink
· CDC / 스트리밍: AWS DMS, Kafka Connect
· 인프라: AWS EKS (컨테이너 기반)

시니어 데이터 엔지니어

포지션 상세

주요업무

자격요건

기술 스택 • 툴

태그

마감일

근무지역

더 많은 포지션을 찾아 볼까요?