포지션 상세
데이터 엔지니어는 안정적인 데이터 파이프라인 구축을 넘어, AI 모델의 효율적인 운영 환경을 조성하고 데이터가 비즈니스 의사결정에 직결될 수 있도록 활용 방안을 기획합니다.
* 데이터 활용 기획 및 거버넌스: 전사 비즈니스 KPI 성장을 위해 필요한 데이터를 정의하고, 원천 데이터가 인사이트로 이어질 수 있도록 데이터 마트 및 활용 시나리오를 기획합니다.
* 현대적 데이터 레이크하우스 구축: Delta Lake, Iceberg 등 오픈 테이블 포맷을 활용하여 데이터의 신뢰성을 확보하고 분석 효율을 극대화합니다.
* AI 및 자동화 도구 도입: 최신 AI 기술(LLM, 자동화 툴 등)을 데이터 엔지니어링 프로세스에 도입하여 생산성을 혁신하고 데이터 품질 관리 자동화를 구현합니다.
* 데이터 플랫폼 서비스 운영: Redash, Superset 등 분석 도구 최적화 및 비즈니스 요구에 맞는 맞춤형 데이터 웹 서비스(Streamlit, FastAPI 등)를 개발합니다.
* 데이터 활용 기획 역량: 비즈니스 요구사항을 이해하고, 이를 해결하기 위한 데이터 구조 설계 및 지표 정의 경험이 있는 분
* AI/ML 워크플로우 이해: ML 모델의 학습 및 추론을 위한 데이터 파이프라인 설계 역량을 보유하신 분
* Spark 및 Airflow 등 분산 처리 및 워크플로우 엔진에 대한 깊은 이해와 운영 경험이 있으신 분
* SQL, Python 등 데이터 처리에 필수적인 언어에 능숙하며 기술적 한계를 논리적으로 해결하는 분
* 새로운 기술 스택과 AI 도구를 실무에 적극적으로 도입하고 적응하는 데 거부감이 없는 분
* Trino/Presto 등 분산 쿼리 엔진의 장애 대응 및 트러블슈팅(OOM, JVM 튜닝 등) 경험이 있으신 분
주요업무
* 대규모 데이터 파이프라인 및 AI 서빙 인프라 설계: Spark/Airflow 기반 ETL 구축 및 ML 모델이 실 서비스에 배포·운영될 수 있는 서빙 환경을 관리합니다.* 데이터 활용 기획 및 거버넌스: 전사 비즈니스 KPI 성장을 위해 필요한 데이터를 정의하고, 원천 데이터가 인사이트로 이어질 수 있도록 데이터 마트 및 활용 시나리오를 기획합니다.
* 현대적 데이터 레이크하우스 구축: Delta Lake, Iceberg 등 오픈 테이블 포맷을 활용하여 데이터의 신뢰성을 확보하고 분석 효율을 극대화합니다.
* AI 및 자동화 도구 도입: 최신 AI 기술(LLM, 자동화 툴 등)을 데이터 엔지니어링 프로세스에 도입하여 생산성을 혁신하고 데이터 품질 관리 자동화를 구현합니다.
* 데이터 플랫폼 서비스 운영: Redash, Superset 등 분석 도구 최적화 및 비즈니스 요구에 맞는 맞춤형 데이터 웹 서비스(Streamlit, FastAPI 등)를 개발합니다.
자격요건
* 관련 실무 경력 5년 이상인 분* 데이터 활용 기획 역량: 비즈니스 요구사항을 이해하고, 이를 해결하기 위한 데이터 구조 설계 및 지표 정의 경험이 있는 분
* AI/ML 워크플로우 이해: ML 모델의 학습 및 추론을 위한 데이터 파이프라인 설계 역량을 보유하신 분
* Spark 및 Airflow 등 분산 처리 및 워크플로우 엔진에 대한 깊은 이해와 운영 경험이 있으신 분
* SQL, Python 등 데이터 처리에 필수적인 언어에 능숙하며 기술적 한계를 논리적으로 해결하는 분
* 새로운 기술 스택과 AI 도구를 실무에 적극적으로 도입하고 적응하는 데 거부감이 없는 분
* Trino/Presto 등 분산 쿼리 엔진의 장애 대응 및 트러블슈팅(OOM, JVM 튜닝 등) 경험이 있으신 분
