포지션 상세
[합류하게 될 팀에 대해 알려드려요]
• 토스뱅크 Data Division 산하의 DataOps Engineering Team 소속으로 일하게 돼요.
• Hadoop Ecosystem과 다양한 오픈소스를 활용하여 전사 데이터를 안정적이고 효율적으로 관리해요.
• 데이터 워크플로우의 표준을 수립하고 파이프라인을 개발 및 최적화해요.
• 오픈소스 기반 분석 플랫폼의 성능 및 안정성 최적화를 담당해요.
• 전사 Data Pipeline 개발, 운영 및 자동화를 담당해요.
• 오픈소스를 활용하여 대용량 Data를 안정적으로 처리하고 최적화해요.
• 온프레미스 쿠버네티스 환경에서 대규모 airflow cluster를 운영해요.
• 데이터 플랫폼 고도화를 위해 Iceberg, Trino 같은 새로운 기술을 검토하고 도입해요.
• Hadoop Ecosystem 환경 기반의 개발에 능숙하신 분이 필요해요.
• Airflow, Nifi, Kafka, Flink 같은 pipeline 오픈소스 경험이 풍부하고 문제 해결 능력이 있으신 분이 필요해요.
• 대용량 데이터 처리를 위한 데이터 파이프라인(수집/처리/분석) 개발 경험이 있는 분이 필요해요.
• Spark 등의 분산처리 엔진 실행계획 분석, 튜닝, 최적화 경험이 풍부하신 분이면 좋아요.
• 단순히 오픈소스를 사용하는 것을 넘어, 직접 소스 코드를 분석하고 패치/백포팅 등의 기여 경험이 있으신 분이면 좋아요.
• 토스뱅크 Data Division 산하의 DataOps Engineering Team 소속으로 일하게 돼요.
• Hadoop Ecosystem과 다양한 오픈소스를 활용하여 전사 데이터를 안정적이고 효율적으로 관리해요.
• 데이터 워크플로우의 표준을 수립하고 파이프라인을 개발 및 최적화해요.
• 오픈소스 기반 분석 플랫폼의 성능 및 안정성 최적화를 담당해요.
주요업무
[합류하면 함께할 업무예요]• 전사 Data Pipeline 개발, 운영 및 자동화를 담당해요.
• 오픈소스를 활용하여 대용량 Data를 안정적으로 처리하고 최적화해요.
• 온프레미스 쿠버네티스 환경에서 대규모 airflow cluster를 운영해요.
• 데이터 플랫폼 고도화를 위해 Iceberg, Trino 같은 새로운 기술을 검토하고 도입해요.
자격요건
[이런 분과 함께하고 싶어요]• Hadoop Ecosystem 환경 기반의 개발에 능숙하신 분이 필요해요.
• Airflow, Nifi, Kafka, Flink 같은 pipeline 오픈소스 경험이 풍부하고 문제 해결 능력이 있으신 분이 필요해요.
• 대용량 데이터 처리를 위한 데이터 파이프라인(수집/처리/분석) 개발 경험이 있는 분이 필요해요.
• Spark 등의 분산처리 엔진 실행계획 분석, 튜닝, 최적화 경험이 풍부하신 분이면 좋아요.
• 단순히 오픈소스를 사용하는 것을 넘어, 직접 소스 코드를 분석하고 패치/백포팅 등의 기여 경험이 있으신 분이면 좋아요.
