포지션 상세
DX센터_IT개발실_데이터엔지니어링팀
• 다양한 데이터 소스(RDBMS, NoSQL, 데이터 레이크 등)를 통합하고 최적화하여 배치 데이터 처리 환경 구성
• 클라우드 기반 데이터 플랫폼 (AWS Glue, BigQuery,등) 운영 및 최적화
• Apache Airflow 및 기타 워크플로우 오케스트레이션 도구를 활용한 데이터 파이프라인 자동화
• 생성형AI를 이용한 데이터 전처리
• CI/CD를 적용하여 운영 효율성과 데이터 품질 개선
• 컨테이너 기술(Docker, Kubernetes, EKS 등)을 활용한 데이터 엔지니어링 환경 구축 및 운영
• 데이터 거버넌스, 데이터 품질 관리 및 모니터링 시스템 구축
• 대용량 데이터 처리와 분산 시스템 운영 경험 (PySpark 등)
• 정형 / 비정형 데이터 처리 경험
• Python을 이용하여 데이터 파이프라인 구축 및 최적화 경험 또는 지식
• AWS Glue 등의 클라우드 Data 서비스 운영 경험
• 데이터베이스와 SQL에 대한 이해
• Airflow 개발 및 운영 경험
• 컨테이너(docker 또는 k8s) 지식 및 경험
• 프로그램 언어(javascript, shell 등)에 대한 이해 또는 빠른 습득력
주요업무
• 대용량 데이터 처리를 위한 데이터 파이프라인 설계, 구축 및 운영 (PySpark, SQL, Python 등 활용)• 다양한 데이터 소스(RDBMS, NoSQL, 데이터 레이크 등)를 통합하고 최적화하여 배치 데이터 처리 환경 구성
• 클라우드 기반 데이터 플랫폼 (AWS Glue, BigQuery,등) 운영 및 최적화
• Apache Airflow 및 기타 워크플로우 오케스트레이션 도구를 활용한 데이터 파이프라인 자동화
• 생성형AI를 이용한 데이터 전처리
• CI/CD를 적용하여 운영 효율성과 데이터 품질 개선
• 컨테이너 기술(Docker, Kubernetes, EKS 등)을 활용한 데이터 엔지니어링 환경 구축 및 운영
• 데이터 거버넌스, 데이터 품질 관리 및 모니터링 시스템 구축
자격요건
• 4년 ~ 10년의 DE 경력• 대용량 데이터 처리와 분산 시스템 운영 경험 (PySpark 등)
• 정형 / 비정형 데이터 처리 경험
• Python을 이용하여 데이터 파이프라인 구축 및 최적화 경험 또는 지식
• AWS Glue 등의 클라우드 Data 서비스 운영 경험
• 데이터베이스와 SQL에 대한 이해
• Airflow 개발 및 운영 경험
• 컨테이너(docker 또는 k8s) 지식 및 경험
• 프로그램 언어(javascript, shell 등)에 대한 이해 또는 빠른 습득력
