포지션 상세
[합류하게 될 팀에 대해 알려드려요]
• 토스뱅크의 Data Analytics Engineer 는 Data Division 내의 Data Warehouse 팀에 소속되어 있어요.
• 여러팀의(스쿼드, 사일로) Data 전문가(DA, DE, ML)들과 협업하며 데이터를 활용한 의사결정과 가치를 만들어 나가요.
• 또한 Data Catalog 시스템, Tableau 연동 업무와 같은 전사의 데이터 관련 툴을 개발하고 있어요.
• 전사 차원의 공통 데이터 파이프라인 개발 및 운영에 대한 업무를 담당해요.
• 데이터 리터러시를 높이기 위해 전사 차원의 마트의 표준을 정의&개발하고, Data Quality 를 관리해요.
• 명확한 구조 설계, 표준 준수, 데이터 처리 로직 반영 및 관리, 데이터 정합성 검증, DQ 모니터링 등을 통해 금융권 도메인 지식 없이도 누구나 쉽게 이해하고 신뢰할 수 있는 데이터를 제공해요.
• 데이터 관련 업무 중 비효율적이거나 반복적인 부분을 자동화하거나 표준화 해요.
• 오픈소스를 활용하여 대용량 Data를 처리하고 최적화해요.
• Data Mesh/Medallion Architecture를 기반으로 데이터를 모델링하고 운영해요.
• 데이터 표준 관리에 대한 높은 이해를 바탕으로 다양한 업무 관련자와 효율적으로 소통하며, 최적의 데이터 처리 방법을 제안하는 역할을 해요.
• Hadoop Ecosystem 환경 기반의 Python, Pyspark 프로그래밍에 능숙하신 분이 필요해요.
• Spark 같은 분산처리 엔지니어링을 활용해 대용량 데이터 처리를 해보신 분이 필요해요.
• Data Mesh/Medallion Architecture를 이해하고 데이터 모델링을 해오신 분이 필요해요.
• 분산 처리 기반 query engine의 동작 원리를 이해하고 튜닝이 가능하신 분이 필요해요.
• ETL 프로세스와 airflow orchestration 최적화를 통해 배치작업의 효율화를 경험해보신 분이 필요해요.
• 단순요청을 처리하는 것이 아닌 명확한 데이터 구조와 효율적인 데이터 활용 관점에서 기준을 제시할 수 있어야 해요.
• 다양한 이해관계자와 소통하여 데이터 요구사항을 구체화하고 정리하는 역량이 있어야 해요.
• 토스뱅크의 Data Analytics Engineer 는 Data Division 내의 Data Warehouse 팀에 소속되어 있어요.
• 여러팀의(스쿼드, 사일로) Data 전문가(DA, DE, ML)들과 협업하며 데이터를 활용한 의사결정과 가치를 만들어 나가요.
• 또한 Data Catalog 시스템, Tableau 연동 업무와 같은 전사의 데이터 관련 툴을 개발하고 있어요.
• 전사 차원의 공통 데이터 파이프라인 개발 및 운영에 대한 업무를 담당해요.
• 데이터 리터러시를 높이기 위해 전사 차원의 마트의 표준을 정의&개발하고, Data Quality 를 관리해요.
주요업무
[합류하면 함께할 업무예요]• 명확한 구조 설계, 표준 준수, 데이터 처리 로직 반영 및 관리, 데이터 정합성 검증, DQ 모니터링 등을 통해 금융권 도메인 지식 없이도 누구나 쉽게 이해하고 신뢰할 수 있는 데이터를 제공해요.
• 데이터 관련 업무 중 비효율적이거나 반복적인 부분을 자동화하거나 표준화 해요.
• 오픈소스를 활용하여 대용량 Data를 처리하고 최적화해요.
• Data Mesh/Medallion Architecture를 기반으로 데이터를 모델링하고 운영해요.
• 데이터 표준 관리에 대한 높은 이해를 바탕으로 다양한 업무 관련자와 효율적으로 소통하며, 최적의 데이터 처리 방법을 제안하는 역할을 해요.
자격요건
[이런 분과 함께하고 싶어요]• Hadoop Ecosystem 환경 기반의 Python, Pyspark 프로그래밍에 능숙하신 분이 필요해요.
• Spark 같은 분산처리 엔지니어링을 활용해 대용량 데이터 처리를 해보신 분이 필요해요.
• Data Mesh/Medallion Architecture를 이해하고 데이터 모델링을 해오신 분이 필요해요.
• 분산 처리 기반 query engine의 동작 원리를 이해하고 튜닝이 가능하신 분이 필요해요.
• ETL 프로세스와 airflow orchestration 최적화를 통해 배치작업의 효율화를 경험해보신 분이 필요해요.
• 단순요청을 처리하는 것이 아닌 명확한 데이터 구조와 효율적인 데이터 활용 관점에서 기준을 제시할 수 있어야 해요.
• 다양한 이해관계자와 소통하여 데이터 요구사항을 구체화하고 정리하는 역량이 있어야 해요.
