포지션 상세
[합류하게 될 팀에 대해 알려드려요]
• 토스뱅크의 Data Engineer (ETL/Pipeline & Mart)는 Data Division 내의 Data Warehouse 팀에 소속되어 있어요.
• Hadoop Ecosystem과 오픈소스 기반 환경에서 Data를 관리해요.
• 전사 Data Workflow 기준을 만들고 개발 및 최적화해요.
• 데이터 리터러시를 높이기 위해 전사 차원의 마트의 표준을 정의&개발하고, Data Quality 를 관리해요.
• 오픈소스를 활용하여 대용량 Data를 처리하고 최적화해요.
• 다양한 소스에서 수집한 데이터를 모델링하고 마트화해요.
• 여러팀의(스쿼드, 사일로) Data 전문가(DA, DE, ML)들과 협업하며 데이터를 활용한 의사결정과 가치를 만들어 나가요.
• Airflow, Nifi 등과 같은 pipeline 오픈소스 경험이 풍부하고 문제 해결 능력이 있으신 분이 필요해요.
• Spark 등의 분산처리 엔지니어링을 통한 대용량 처리 경험이 풍부한 분을 기대해요.
• Log성 데이터를 활용한 Dimensional Modeling 작업 경험이 있으신 분이면 좋아요.
• Data Mart를 주도적으로 설계, 구축하고 운영한 경험이 있으신 분이면 좋아요.
• 토스뱅크의 Data Engineer (ETL/Pipeline & Mart)는 Data Division 내의 Data Warehouse 팀에 소속되어 있어요.
• Hadoop Ecosystem과 오픈소스 기반 환경에서 Data를 관리해요.
• 전사 Data Workflow 기준을 만들고 개발 및 최적화해요.
• 데이터 리터러시를 높이기 위해 전사 차원의 마트의 표준을 정의&개발하고, Data Quality 를 관리해요.
주요업무
• 전사 Data Pipeline 개발, 운영 및 자동화 업무를 담당해요.• 오픈소스를 활용하여 대용량 Data를 처리하고 최적화해요.
• 다양한 소스에서 수집한 데이터를 모델링하고 마트화해요.
• 여러팀의(스쿼드, 사일로) Data 전문가(DA, DE, ML)들과 협업하며 데이터를 활용한 의사결정과 가치를 만들어 나가요.
자격요건
• Hadoop Ecosystem 환경 기반의 Python, Pyspark 프로그래밍에 능숙하신 분이 필요해요.• Airflow, Nifi 등과 같은 pipeline 오픈소스 경험이 풍부하고 문제 해결 능력이 있으신 분이 필요해요.
• Spark 등의 분산처리 엔지니어링을 통한 대용량 처리 경험이 풍부한 분을 기대해요.
• Log성 데이터를 활용한 Dimensional Modeling 작업 경험이 있으신 분이면 좋아요.
• Data Mart를 주도적으로 설계, 구축하고 운영한 경험이 있으신 분이면 좋아요.
