포지션 상세
데이터 엔지니어는 유관 부서에서 필요한 데이터가 생성, 수집, 저장되어 적재적소에 도달할 수 있도록 데이터 전반의 플랫폼을 구축하고 관리하는 조직에 속해 업무를 수행합니다. 비즈니스의 모든 의사결정이 정확한 데이터 위에서 이루어질 수 있도록 신뢰할 수 있는 파이프라인을 설계하며, 기술을 통해 전사의 데이터 접근성을 높이고 비즈니스 성장을 뒷받침하는 데이터 생태계를 만드는 미션을 공유합니다.
• 실시간 CDC 적재 및 배치 파이프라인 운영
• 사용자 행동 로그 및 다양한 분석 솔루션 연동 파이프라인 시스템 개발 및 운영
2) 데이터 인프라 운영
• 데이터 파이프라인을 관리하기 위한 AWS/GCP 클라우드 인프라 운영
• 데이터 Kubernetes 클러스터 운영하고 Kubernetes 기반 오픈소스 관리
3) 데이터 관련 오픈소스 플랫폼 운영
• 데이터 시각화 도구 및 분석 환경 제공
• 대규모 데이터 처리 문제를 고민해보거나 해결한 경험이 있는 분
-Claude, GitHub Copilot 등 최신 GenAI 도구를 개발 워크플로우에 도입해 반복 업무를 자동화하고, AI 기반 코드 개선과 창의적 문제 해결로 개발 생산성 한계를 확장하는 AX 역량을 보유한 분
• 사용한 데이터 엔지니어링 기술의 탄생과 발전, 기술 트레이드오프를 이해하며, 특정 기술의 장점뿐 아니라 도입 시 발생하는 비용, 복잡성, 유지보수 단점까지 함께 고민한 경험이 있는 분
• 한 가지 이상의 개발 언어를 다루며 운영 도구를 직접 개발할 수 있는 분
주요업무
1) 빅쿼리 기반의 데이터 파이프라인 구축 및 운영• 실시간 CDC 적재 및 배치 파이프라인 운영
• 사용자 행동 로그 및 다양한 분석 솔루션 연동 파이프라인 시스템 개발 및 운영
2) 데이터 인프라 운영
• 데이터 파이프라인을 관리하기 위한 AWS/GCP 클라우드 인프라 운영
• 데이터 Kubernetes 클러스터 운영하고 Kubernetes 기반 오픈소스 관리
3) 데이터 관련 오픈소스 플랫폼 운영
• 데이터 시각화 도구 및 분석 환경 제공
자격요건
• 3년 이상의 데이터 엔지니어링 유관 경험을 보유한 분• 대규모 데이터 처리 문제를 고민해보거나 해결한 경험이 있는 분
-Claude, GitHub Copilot 등 최신 GenAI 도구를 개발 워크플로우에 도입해 반복 업무를 자동화하고, AI 기반 코드 개선과 창의적 문제 해결로 개발 생산성 한계를 확장하는 AX 역량을 보유한 분
• 사용한 데이터 엔지니어링 기술의 탄생과 발전, 기술 트레이드오프를 이해하며, 특정 기술의 장점뿐 아니라 도입 시 발생하는 비용, 복잡성, 유지보수 단점까지 함께 고민한 경험이 있는 분
• 한 가지 이상의 개발 언어를 다루며 운영 도구를 직접 개발할 수 있는 분
