포지션 상세
[합류하게 될 팀에 대해 알려드려요]
• 토스플레이스의 Data Engineer는 Data Platform Team에 속해 있어요.
• Data Platform Team은 Data Engineer,Data Analytics Engineer로 구성되어 있어요.
• Data Platform Team은 토스플레이스가 제공하는 서비스 분석에 필요한 플랫폼 구축과 데이터 파이프라인을 담당하고 있어요.
• 대규모 데이터 분석 및 실시간/배치 데이터 파이프라인의 안정적 운영을 위한 시스템을 설계하고 최적화 해요.
• 토스플레이스에서 발생하는 다양한 형태의 데이터를 적재하는 배치 및 스트리밍 파이프라인을 개발하고 운영해요.
• 서비스 요구사항을 반영하여 데이터 모델과 처리 로직을 지속적으로 개선해요.
• Kafka 및 Kafka Connect 기반 데이터 스트리밍 파이프라인 설계/운영 경험이 있으신 분을 찾고 있어요.
• Apache Spark(Batch/Structured Streaming) 활용한 대용량 데이터 처리 경험이 필요해요.
• 토스플레이스의 Data Engineer는 Data Platform Team에 속해 있어요.
• Data Platform Team은 Data Engineer,Data Analytics Engineer로 구성되어 있어요.
• Data Platform Team은 토스플레이스가 제공하는 서비스 분석에 필요한 플랫폼 구축과 데이터 파이프라인을 담당하고 있어요.
주요업무
• OLAP(Online Analytical Processing) 기반 데이터 파이프라인을 개발하고 운영해요.• 대규모 데이터 분석 및 실시간/배치 데이터 파이프라인의 안정적 운영을 위한 시스템을 설계하고 최적화 해요.
• 토스플레이스에서 발생하는 다양한 형태의 데이터를 적재하는 배치 및 스트리밍 파이프라인을 개발하고 운영해요.
• 서비스 요구사항을 반영하여 데이터 모델과 처리 로직을 지속적으로 개선해요.
자격요건
• Kubernetes(K8s) 기반 환경에서의 서비스 운영 경험이 있으신 분과 함께하고 싶어요.• Kafka 및 Kafka Connect 기반 데이터 스트리밍 파이프라인 설계/운영 경험이 있으신 분을 찾고 있어요.
• Apache Spark(Batch/Structured Streaming) 활용한 대용량 데이터 처리 경험이 필요해요.
