포지션 상세
[합류하게 될 팀에 대해 알려드려요]
• 토스뱅크의 Data Engineer(Platform)은 Data Division 내 Data Platform 팀에 속해 있어요.
• Data Platform 팀은 Hadoop(Infrastructure), Airflow(Workflow), Trino/Impala(Query Engine) 등 핵심 데이터 플랫폼을 운영하며 전사 데이터의 신뢰성과 확장성을 책임집니다.
• 분산 쿼리 엔진을 통해 대규모 데이터를 누구나 빠르고 안정적으로 조회할 수 있는 환경을 만들고, Tableau 기반 BI 플랫폼으로 데이터 기반의 의사결정을 지원해요.
• 단순 운영을 넘어, 플랫폼의 리소스를 최적화하고 엔지니어와 분석가의 개발자 경험을 개선하는 것이 팀의 주요 미션이에요.
• Hadoop 기반 대규모 데이터 인프라와 Kubernetes 환경의 Airflow 플랫폼을 설계하고 고도화하며, 전사 파이프라인의 안정성을 책임져요.
• Trino, Impala, Spark SQL 등 분산 쿼리 엔진을 운영하며 성능 병목을 분석하고 튜닝하여 데이터 조회 환경을 개선해요.
• 플랫폼 운영 효율을 위해 성능 장애 및 확장성 이슈를 분석하고, 코드 기반의 운영 자동화 방안을 주도적으로 설계하고 구현해요.
• 전사 데이터 엔지니어·분석가와 협업하여 누구나 쉽고 안전하게 데이터를 활용할 수 있는 플랫폼 환경과 시스템을 고도화해요.
• 새로운 기술과 오픈소스를 검토하고 도입해 데이터 플랫폼의 성능과 확장성을 지속적으로 높여요.
• Hadoop, Spark 등 분산 처리 시스템에 대한 깊은 이해가 있고, 이를 실무에 적용해 클러스터를 운영해 본 경험이 있는 분이 필요해요.
• Trino(또는 Impala) 등 분산 쿼리 엔진의 운영과 성능 튜닝, 장애 대응을 경험해 본 분이 필요해요.
• Airflow 기반의 워크플로우 시스템을 운영하며 안정성과 실행 효율을 개선해 본 경험이 있는 분이 필요해요.
• Python 또는 Java/Scala 기반의 개발 역량을 갖추고, Docker/Kubernetes 환경에서의 서비스 배포 및 운영 이해도가 높은 분이 필요해요.
• 오픈소스를 코드 레벨에서 분석하거나 수정하여 문제를 해결하는 데 거부감이 없고, 동료의 생산성을 높이는 플랫폼 환경 개선에 관심이 있는 분이면 좋아요.
• 다양한 팀과 원활하게 커뮤니케이션하며, 금융권의 보안 및 안정성 기준을 이해하고 시스템에 녹여낼 수 있는 분이 필요해요.
• 토스뱅크의 Data Engineer(Platform)은 Data Division 내 Data Platform 팀에 속해 있어요.
• Data Platform 팀은 Hadoop(Infrastructure), Airflow(Workflow), Trino/Impala(Query Engine) 등 핵심 데이터 플랫폼을 운영하며 전사 데이터의 신뢰성과 확장성을 책임집니다.
• 분산 쿼리 엔진을 통해 대규모 데이터를 누구나 빠르고 안정적으로 조회할 수 있는 환경을 만들고, Tableau 기반 BI 플랫폼으로 데이터 기반의 의사결정을 지원해요.
• 단순 운영을 넘어, 플랫폼의 리소스를 최적화하고 엔지니어와 분석가의 개발자 경험을 개선하는 것이 팀의 주요 미션이에요.
주요업무
[합류하면 함께할 업무예요]• Hadoop 기반 대규모 데이터 인프라와 Kubernetes 환경의 Airflow 플랫폼을 설계하고 고도화하며, 전사 파이프라인의 안정성을 책임져요.
• Trino, Impala, Spark SQL 등 분산 쿼리 엔진을 운영하며 성능 병목을 분석하고 튜닝하여 데이터 조회 환경을 개선해요.
• 플랫폼 운영 효율을 위해 성능 장애 및 확장성 이슈를 분석하고, 코드 기반의 운영 자동화 방안을 주도적으로 설계하고 구현해요.
• 전사 데이터 엔지니어·분석가와 협업하여 누구나 쉽고 안전하게 데이터를 활용할 수 있는 플랫폼 환경과 시스템을 고도화해요.
• 새로운 기술과 오픈소스를 검토하고 도입해 데이터 플랫폼의 성능과 확장성을 지속적으로 높여요.
자격요건
[이런 분과 함께하고 싶어요]• Hadoop, Spark 등 분산 처리 시스템에 대한 깊은 이해가 있고, 이를 실무에 적용해 클러스터를 운영해 본 경험이 있는 분이 필요해요.
• Trino(또는 Impala) 등 분산 쿼리 엔진의 운영과 성능 튜닝, 장애 대응을 경험해 본 분이 필요해요.
• Airflow 기반의 워크플로우 시스템을 운영하며 안정성과 실행 효율을 개선해 본 경험이 있는 분이 필요해요.
• Python 또는 Java/Scala 기반의 개발 역량을 갖추고, Docker/Kubernetes 환경에서의 서비스 배포 및 운영 이해도가 높은 분이 필요해요.
• 오픈소스를 코드 레벨에서 분석하거나 수정하여 문제를 해결하는 데 거부감이 없고, 동료의 생산성을 높이는 플랫폼 환경 개선에 관심이 있는 분이면 좋아요.
• 다양한 팀과 원활하게 커뮤니케이션하며, 금융권의 보안 및 안정성 기준을 이해하고 시스템에 녹여낼 수 있는 분이 필요해요.
