포지션 상세
데이터 엔지니어링 리드는 전통적 파이프라인 구축을 넘어, AI Agent 기반의 데이터 운영 혁신을 설계하고 팀을 리딩합니다.
* AI Agent 기반 자동 대응 시스템 구축: Datadog Workflow Automation과 AI Agent를 결합하여 데이터 파이프라인의 "감지 → 진단 → 복구"를 자동화합니다. Airflow/Dagster DAG 자동 재실행, Spark Job 리소스 자동 조정 등 Self-healing 아키텍처를 설계합니다.
* 계층적 Observability Stack 설계: 인프라(Datadog APM) → 파이프라인(Data Jobs Monitoring) → 데이터 품질(Data Observability) → AIOps(Bits AI) 4계층 모니터링 체계를 구축합니다.
* 데이터 플랫폼 전략 수립 및 리딩: 전사 데이터 인프라의 기술 방향을 설정하고, 팀원의 성장과 협업을 이끕니다. Data Contract 기반의 팀 간 인터페이스를 정의하고, Self-serve Analytics 환경을 조성합니다.
* 데이터 활용 기획 및 거버넌스: 전사 비즈니스 KPI 성장을 위해 필요한 데이터를 정의하고, 원천 데이터가 인사이트로 이어질 수 있도록 데이터 마트 및 활용 시나리오를 기획합니다.
* 데이터 플랫폼 서비스 운영: Superset 등 분석 도구 최적화 및 비즈니스 요구에 맞는 맞춤형 데이터 웹 서비스(Streamlit, FastAPI 등)를 개발합니다.
* 팀 리딩 경험: 데이터 엔지니어링 조직을 리드하거나 기술적 방향을 주도한 경험이 있는 분
* Data Warehouse / Lakehouse 설계 경험: 대규모 데이터 저장·분석 아키텍처를 설계하고 운영한 경험이 있는 분
* AI/자동화 도구 적극 활용: LLM, AI Agent 등 최신 기술을 업무 프로세스에 도입하여 생산성을 혁신한 실질적 경험이 있는 분
* Spark, Airflow, Dagster 등 분산 처리 및 워크플로우 엔진에 대한 깊은 이해와 대규모 운영 경험이 있는 분
* 데이터 활용 기획 역량: 비즈니스 요구사항을 이해하고, 이를 해결하기 위한 데이터 구조 설계 및 지표 정의 경험이 있는 분
* SQL, Python 등 데이터 처리에 능숙하며 기술적 한계를 논리적으로 해결하는 분
주요업무
* Data Warehouse 전략 수립: 비즈니스 성장에 맞는 Data Warehouse / Lakehouse 아키텍처를 설계합니다. Apache Iceberg 기반 Open Lakehouse 구축, Iceberg Catalog(Polaris, Unity Catalog) 도입, 실시간 분석을 위한 OLAP 엔진(ClickHouse, StarRocks) 선정 등 전사 데이터 저장·분석 전략을 주도합니다.* AI Agent 기반 자동 대응 시스템 구축: Datadog Workflow Automation과 AI Agent를 결합하여 데이터 파이프라인의 "감지 → 진단 → 복구"를 자동화합니다. Airflow/Dagster DAG 자동 재실행, Spark Job 리소스 자동 조정 등 Self-healing 아키텍처를 설계합니다.
* 계층적 Observability Stack 설계: 인프라(Datadog APM) → 파이프라인(Data Jobs Monitoring) → 데이터 품질(Data Observability) → AIOps(Bits AI) 4계층 모니터링 체계를 구축합니다.
* 데이터 플랫폼 전략 수립 및 리딩: 전사 데이터 인프라의 기술 방향을 설정하고, 팀원의 성장과 협업을 이끕니다. Data Contract 기반의 팀 간 인터페이스를 정의하고, Self-serve Analytics 환경을 조성합니다.
* 데이터 활용 기획 및 거버넌스: 전사 비즈니스 KPI 성장을 위해 필요한 데이터를 정의하고, 원천 데이터가 인사이트로 이어질 수 있도록 데이터 마트 및 활용 시나리오를 기획합니다.
* 데이터 플랫폼 서비스 운영: Superset 등 분석 도구 최적화 및 비즈니스 요구에 맞는 맞춤형 데이터 웹 서비스(Streamlit, FastAPI 등)를 개발합니다.
자격요건
* 데이터 엔지니어링 관련 실무 경력 12년 이상인 분* 팀 리딩 경험: 데이터 엔지니어링 조직을 리드하거나 기술적 방향을 주도한 경험이 있는 분
* Data Warehouse / Lakehouse 설계 경험: 대규모 데이터 저장·분석 아키텍처를 설계하고 운영한 경험이 있는 분
* AI/자동화 도구 적극 활용: LLM, AI Agent 등 최신 기술을 업무 프로세스에 도입하여 생산성을 혁신한 실질적 경험이 있는 분
* Spark, Airflow, Dagster 등 분산 처리 및 워크플로우 엔진에 대한 깊은 이해와 대규모 운영 경험이 있는 분
* 데이터 활용 기획 역량: 비즈니스 요구사항을 이해하고, 이를 해결하기 위한 데이터 구조 설계 및 지표 정의 경험이 있는 분
* SQL, Python 등 데이터 처리에 능숙하며 기술적 한계를 논리적으로 해결하는 분
