포지션 상세
[합류하게 될 팀에 대해 알려드려요]
• 토스뱅크의 Data Engineer (Platform)는 토스뱅크 Data Division 내 Data Platform 팀에 속해있어요.
• Data Platform 팀은 Platform, Product, Governance 3개의 Part로 구성되어 있어요.
• Platform Part 에서는 Hadoop, Kafka, CDC Platform을 구축&운영 하고 있어요.
• Product Part 에서는 빅데이터 플랫폼을 활용하여 토스뱅크만의 데이터 제품을 구축&운영해요.
• Apache Hadoop Ecosystem 오픈소스 전반을 직접 빌드부터 on-premise 클러스터를 구축까지 개발 및 운영하고 있어요.
• 안정적이고 효율적인 데이터 파이프라인을 개발하고, 운영해요.
• Druid, Iceberg 와 같은 데이터 플랫폼 고도화를 위한 다양한 새로운 기술을 검토하고 도입해요.
• 데이터 어플리케이션 개발을 위한 소프트웨어 개발 역량(Java, Kotlin, Python 등)을 갖춘 분이 필요해요.
• 온프레미스 쿠버네티스 환경에서 대규모 airflow cluster 를 운영해본 경험이 있는 분이 필요해요.
• 대용량 분산 시스템(Hadoop, Kafka, Spark 등) 활용 경험이 있는 분이 필요해요.
• 플랫폼의 모니터링 시스템을 구축해보고, 이를 통해 문제를 해결해본 경험이 있으신 분이 필요해요.
• 대용량 데이터 처리를 위한 데이터 파이프라인(수집/처리/분석) 개발 경험이 있는 분이면 좋아요.
• 사내에서 Frontend / Backend 기술을 이용하여 데이터 관련 툴을 개발해보신 분이면 좋아요.
• Data Warehouse Platform 또는 Data Governance Platform 을 구축 or 경험하신분이면 좋아요.
• Data Engineering의 다양한 업무를 경험하신 All-Rounder이신 분이 좋아요. 하지만 All-Rounder가 아니더라도 본인의 업무에 대해 깊이 있는 지식을 갖춘 분, 다양한 영역에서의 업무 확장을 하고 싶으신 분도 좋아요.
• 오픈소스 기여 경험이 있으신 분 또는 오픈소스를 단순히 사용하는 것이 아닌 코드레벨로 따라가보며 업그레이드, 패치, 백포팅 등으로 문제해결 경험이 있으신 분이면 좋아요.
• 토스뱅크의 Data Engineer (Platform)는 토스뱅크 Data Division 내 Data Platform 팀에 속해있어요.
• Data Platform 팀은 Platform, Product, Governance 3개의 Part로 구성되어 있어요.
• Platform Part 에서는 Hadoop, Kafka, CDC Platform을 구축&운영 하고 있어요.
• Product Part 에서는 빅데이터 플랫폼을 활용하여 토스뱅크만의 데이터 제품을 구축&운영해요.
주요업무
[합류하면 함께할 업무예요]• Apache Hadoop Ecosystem 오픈소스 전반을 직접 빌드부터 on-premise 클러스터를 구축까지 개발 및 운영하고 있어요.
• 안정적이고 효율적인 데이터 파이프라인을 개발하고, 운영해요.
• Druid, Iceberg 와 같은 데이터 플랫폼 고도화를 위한 다양한 새로운 기술을 검토하고 도입해요.
자격요건
[이런 분과 함께하고 싶어요]• 데이터 어플리케이션 개발을 위한 소프트웨어 개발 역량(Java, Kotlin, Python 등)을 갖춘 분이 필요해요.
• 온프레미스 쿠버네티스 환경에서 대규모 airflow cluster 를 운영해본 경험이 있는 분이 필요해요.
• 대용량 분산 시스템(Hadoop, Kafka, Spark 등) 활용 경험이 있는 분이 필요해요.
• 플랫폼의 모니터링 시스템을 구축해보고, 이를 통해 문제를 해결해본 경험이 있으신 분이 필요해요.
• 대용량 데이터 처리를 위한 데이터 파이프라인(수집/처리/분석) 개발 경험이 있는 분이면 좋아요.
• 사내에서 Frontend / Backend 기술을 이용하여 데이터 관련 툴을 개발해보신 분이면 좋아요.
• Data Warehouse Platform 또는 Data Governance Platform 을 구축 or 경험하신분이면 좋아요.
• Data Engineering의 다양한 업무를 경험하신 All-Rounder이신 분이 좋아요. 하지만 All-Rounder가 아니더라도 본인의 업무에 대해 깊이 있는 지식을 갖춘 분, 다양한 영역에서의 업무 확장을 하고 싶으신 분도 좋아요.
• 오픈소스 기여 경험이 있으신 분 또는 오픈소스를 단순히 사용하는 것이 아닌 코드레벨로 따라가보며 업그레이드, 패치, 백포팅 등으로 문제해결 경험이 있으신 분이면 좋아요.
