포지션 상세
[합류하게 될 팀에 대해 알려드려요]
• 토스뱅크의 Data Engineer (Workflow Platform)는 토스뱅크 Data Division 내 Data Platform 팀에 속해있어요.
• Data Platform 팀은 Data Infrastructure & Hadoop, Streaming Platform, Workflow Platform 3개의 파트로 구성되어 있어요
• Data Platform 팀은 Hadoop, Kafka, CDC, Airflow 등 다양한 Data Platform들을 운영하고 있어요
• 전사 데이터 인프라의 신뢰성과 확장성을 확보해, 모든 데이터가 안전하게 수집되고 처리되도록 만드는 것이 미션이에요
• 온프레미스 쿠버네티스 환경에서 대규모 데이터 워크플로우 실행 플랫폼을 설계하고 운영해요.
• 여러 데이터 조직의 대규모 워크플로우가 안정적으로 실행될 수 있도록 리소스를 최적화하고 플랫폼의 성능과 신뢰성을 개선해요.
• 전사 데이터 엔지니어들과 협업하여 전사 데이터 파이프라인의 실행 품질과 개발자 경험(Developer Experience)을 함께 개선해요.
• 워크플로우 실행 상태를 모니터링하고, 장애 감지·알림·복구 절차를 자동화하는 시스템을 설계하고 개선해요.
• 금융권 내부 통제 기준에 따라 워크플로우 실행을 안전하게 관리하고, 이력을 체계적으로 관리하는 시스템을 고도화해요.
• 새로운 기술과 오픈소스를 검토하고 도입해 워크플로우 플랫폼의 성능과 확장성을 지속적으로 높여요.
• Airflow 기반 워크플로우 오케스트레이션 시스템을 운영하며 안정성, 확장성, 실행 효율을 개선해 본 경험이 있는 분이 필요해요.
• Python 기반 데이터 워크플로우 및 플랫폼 서비스 개발 경험이 있는 분이 필요해요.
• 컨테이너 기술 전반(Docker, Kubernetes 등)에 대한 이해가 있고, Helm 등을 활용해 서비스 배포나 구성을 자동화해본 경험이 있는 분이 필요해요.
• 회사의 환경을 이해하고 다양한 팀과 커뮤니케이션하며 서비스를 만든 경험이 있는 분이 필요해요.
• 대규모 워크플로우 환경의 운영 효율성 개선과 최적화에 관심이 있는 분이면 좋아요.
• 사내 데이터 엔지니어가 더 쉽고 안전하게 파이프라인을 개발하고 운영할 수 있도록 플랫폼의 사용자 경험을 개선하는 일에 관심 있는 분이면 좋아요.
• 오픈소스를 단순히 사용하는 것이 아닌, 코드 레벨에서 분석하고 수정·개선하며 문제를 해결하는 데 관심이 있는 분이면 좋아요.
• 토스뱅크의 Data Engineer (Workflow Platform)는 토스뱅크 Data Division 내 Data Platform 팀에 속해있어요.
• Data Platform 팀은 Data Infrastructure & Hadoop, Streaming Platform, Workflow Platform 3개의 파트로 구성되어 있어요
• Data Platform 팀은 Hadoop, Kafka, CDC, Airflow 등 다양한 Data Platform들을 운영하고 있어요
• 전사 데이터 인프라의 신뢰성과 확장성을 확보해, 모든 데이터가 안전하게 수집되고 처리되도록 만드는 것이 미션이에요
주요업무
[합류하면 함께할 업무예요]• 온프레미스 쿠버네티스 환경에서 대규모 데이터 워크플로우 실행 플랫폼을 설계하고 운영해요.
• 여러 데이터 조직의 대규모 워크플로우가 안정적으로 실행될 수 있도록 리소스를 최적화하고 플랫폼의 성능과 신뢰성을 개선해요.
• 전사 데이터 엔지니어들과 협업하여 전사 데이터 파이프라인의 실행 품질과 개발자 경험(Developer Experience)을 함께 개선해요.
• 워크플로우 실행 상태를 모니터링하고, 장애 감지·알림·복구 절차를 자동화하는 시스템을 설계하고 개선해요.
• 금융권 내부 통제 기준에 따라 워크플로우 실행을 안전하게 관리하고, 이력을 체계적으로 관리하는 시스템을 고도화해요.
• 새로운 기술과 오픈소스를 검토하고 도입해 워크플로우 플랫폼의 성능과 확장성을 지속적으로 높여요.
자격요건
[이런 분과 함께하고 싶어요]• Airflow 기반 워크플로우 오케스트레이션 시스템을 운영하며 안정성, 확장성, 실행 효율을 개선해 본 경험이 있는 분이 필요해요.
• Python 기반 데이터 워크플로우 및 플랫폼 서비스 개발 경험이 있는 분이 필요해요.
• 컨테이너 기술 전반(Docker, Kubernetes 등)에 대한 이해가 있고, Helm 등을 활용해 서비스 배포나 구성을 자동화해본 경험이 있는 분이 필요해요.
• 회사의 환경을 이해하고 다양한 팀과 커뮤니케이션하며 서비스를 만든 경험이 있는 분이 필요해요.
• 대규모 워크플로우 환경의 운영 효율성 개선과 최적화에 관심이 있는 분이면 좋아요.
• 사내 데이터 엔지니어가 더 쉽고 안전하게 파이프라인을 개발하고 운영할 수 있도록 플랫폼의 사용자 경험을 개선하는 일에 관심 있는 분이면 좋아요.
• 오픈소스를 단순히 사용하는 것이 아닌, 코드 레벨에서 분석하고 수정·개선하며 문제를 해결하는 데 관심이 있는 분이면 좋아요.
