포지션 상세
[이 포지션의 주요 미션]
• 거래, 시세, 공시, 리포트, 고객 행동 데이터 등 대규모 정형·비정형 금융 데이터를 실시간 및 배치로 안정적으로 처리하는 차세대 데이터 플랫폼을 설계·구축·고도화 하고, 데이터 웨어하우스와 데이터 레이크를 중심으로 조직 전반의 데이터 활용 기반을 만듭니다.
• 비정형 문서와 멀티모달 데이터를 포함한 데이터 수집, 정제, 저장, 전달 전 과정을 구조화하고, 데이터 품질·보안·거버넌스·금융 규제 준수를 기술적으로 구현하며, 데이터 엔지니어링 관점에서 팀의 기술 방향성과 표준을 리드합니다.
• IaC(Infrastructure as Code) 기반으로 인프라 구성과 관리를 자동화하고, 데이터 플랫폼의 상태와 성능을 실시간으로 모니터링하는 체계를 구축하여 장애를 사전에 예방하고 신속하게 대응합니다.
• 대규모 정형·비정형 금융 데이터를 효율적으로 처리하고 분석하기 위한 Data Warehouse 및 Data Lake 아키텍처를 설계·구축 하고, 온프레미스 환경과 AWS/GCP를 연동하는 하이브리드 클라우드 데이터 인프라를 안정적으로 운영 합니다.
• 실시간 및 배치 데이터 처리를 위한 확장성 높은 파이프라인을 설계·개선하며, Kafka 기반 스트리밍, Spark 기반 대규모 배치 처리, Airflow 기반 워크플로우 자동화를 고려하여 데이터 처리 환경을 점진적으로 고도화합니다.
• Python 또는 Java 기반 개발에 능숙하고, SQL과 데이터 모델링에 대한 깊은 이해를 바탕으로 데이터 웨어하우스와 데이터 레이크 환경을 안정적으로 운영해본 경험이 있는 분이면 좋겠습니다.
• 데이터 품질, 안정성, 보안, 운영 자동화를 중요하게 생각하며, 데이터 분석가, AI/ML 엔지니어, 프로덕트 엔지니어와 협업하면서 기술적 의사결정을 주도해본 경험이 있는 분을 기대합니다.
• 거래, 시세, 공시, 리포트, 고객 행동 데이터 등 대규모 정형·비정형 금융 데이터를 실시간 및 배치로 안정적으로 처리하는 차세대 데이터 플랫폼을 설계·구축·고도화 하고, 데이터 웨어하우스와 데이터 레이크를 중심으로 조직 전반의 데이터 활용 기반을 만듭니다.
• 비정형 문서와 멀티모달 데이터를 포함한 데이터 수집, 정제, 저장, 전달 전 과정을 구조화하고, 데이터 품질·보안·거버넌스·금융 규제 준수를 기술적으로 구현하며, 데이터 엔지니어링 관점에서 팀의 기술 방향성과 표준을 리드합니다.
주요업무
• 금융 리포트, 공시, 뉴스, 소셜 데이터 등을 포함한 비정형 데이터를 대상으로 PDF 파싱, 전처리, 멀티모달 데이터 처리 파이프라인을 구축하고, 데이터 품질 모니터링과 오류 감지, 재처리 자동화를 통해 운영 신뢰성을 높입니다.• IaC(Infrastructure as Code) 기반으로 인프라 구성과 관리를 자동화하고, 데이터 플랫폼의 상태와 성능을 실시간으로 모니터링하는 체계를 구축하여 장애를 사전에 예방하고 신속하게 대응합니다.
• 대규모 정형·비정형 금융 데이터를 효율적으로 처리하고 분석하기 위한 Data Warehouse 및 Data Lake 아키텍처를 설계·구축 하고, 온프레미스 환경과 AWS/GCP를 연동하는 하이브리드 클라우드 데이터 인프라를 안정적으로 운영 합니다.
• 실시간 및 배치 데이터 처리를 위한 확장성 높은 파이프라인을 설계·개선하며, Kafka 기반 스트리밍, Spark 기반 대규모 배치 처리, Airflow 기반 워크플로우 자동화를 고려하여 데이터 처리 환경을 점진적으로 고도화합니다.
자격요건
• 5년 이상의 데이터 엔지니어 경력을 바탕으로 대규모 데이터 파이프라인과 데이터 플랫폼을 설계·운영해왔고, 단순 구현을 넘어 아키텍처와 기술 선택에 대한 책임을 가져본 분을 찾고 있습니다.• Python 또는 Java 기반 개발에 능숙하고, SQL과 데이터 모델링에 대한 깊은 이해를 바탕으로 데이터 웨어하우스와 데이터 레이크 환경을 안정적으로 운영해본 경험이 있는 분이면 좋겠습니다.
• 데이터 품질, 안정성, 보안, 운영 자동화를 중요하게 생각하며, 데이터 분석가, AI/ML 엔지니어, 프로덕트 엔지니어와 협업하면서 기술적 의사결정을 주도해본 경험이 있는 분을 기대합니다.
