포지션 상세
직무 Summary
넥스트증권 AI데이터플랫폼팀과 함께 차세대 금융 데이터 레이크하우스를 만들어갈 데이터 엔지니어(경력)를 모집합니다. Confluent Kafka 기반 실시간 스트리밍과 Databricks Delta Lake 기반 레이크하우스 아키텍처를 설계·구축하고, Flink CDC를 활용한 거래·시세·고객 행동 데이터의 실시간 수집부터 서빙까지 End-to-End 데이터 파이프라인을 책임집니다. IaC(Terraform, Ansible)로 인프라를 자동화하고, Unity Catalog 기반 데이터 거버넌스와 금융 규제 준수를 기술적으로 구현합니다.
· 데이터 레이크하우스 설계·운영: Databricks Delta Lake 위에 Bronze/Silver/Gold 메달리온 아키텍처를 구축하고, Delta Live Tables(DLT)와 Lakeflow를 활용하여 선언적 데이터 파이프라인을 개발합니다.
· 데이터 서빙 레이어 개발: OpenSearch(텍스트/시맨틱 검색), Redis(실시간 랭킹/캐싱), FastAPI 기반 REST API를 통해 다양한 소비자에게 데이터를 제공하는 멀티엔진 서빙 아키텍처를 구축합니다.
· AWS 클라우드 서비스 활용: S3(데이터 레이크 스토리지), EC2(데이터 처리 워크로드), EKS(컨테이너 기반 서비스) 등 AWS 서비스를 활용하여 데이터 파이프라인과 서빙 레이어를 구축·운영합니다.
· 데이터 거버넌스 및 규제 준수: Databricks Unity Catalog 기반 데이터 접근 제어, PII 마스킹/탐지, 금융 규제 준수를 위한 아카이빙 및 보안 아키텍처를 구현합니다.
· 크로스팀 협업: AI/ML 엔지니어, 프로덕트 엔지니어, 데이터 분석가와 긴밀히 협업하여 시세 데이터, 뉴스 데이터, 행동 분석 데이터 등의 요구사항을 파악하고 최적의 데이터 솔루션을 제공합니다.
· Python 또는 Java 중 하나 이상의 프로그래밍 언어에 능숙하신 분
· SQL 활용 능력이 뛰어나고 데이터 모델링에 대한 깊은 이해를 갖추신 분
· Apache Kafka 기반 대규모 실시간 스트리밍 데이터 처리 경험이 있으신 분
· Apache Spark 또는 Databricks 등 대용량 데이터 처리 프레임워크 사용 경험이 있으신 분
· CDC(Change Data Capture) 파이프라인 구축 경험이 있으신 분 (Flink CDC, Debezium 등)
· AWS 등 퍼블릭 클라우드 환경에서 데이터 인프라 구축 및 운영 경험이 있으신 분
· RDBMS(Oracle, PostgreSQL 등)에 대한 이해가 있으신 분
넥스트증권 AI데이터플랫폼팀과 함께 차세대 금융 데이터 레이크하우스를 만들어갈 데이터 엔지니어(경력)를 모집합니다. Confluent Kafka 기반 실시간 스트리밍과 Databricks Delta Lake 기반 레이크하우스 아키텍처를 설계·구축하고, Flink CDC를 활용한 거래·시세·고객 행동 데이터의 실시간 수집부터 서빙까지 End-to-End 데이터 파이프라인을 책임집니다. IaC(Terraform, Ansible)로 인프라를 자동화하고, Unity Catalog 기반 데이터 거버넌스와 금융 규제 준수를 기술적으로 구현합니다.
주요업무
· 실시간 데이터 파이프라인 구축: Confluent Kafka(KRaft 모드) 기반 스트리밍 아키텍처를 운영하고, Flink CDC를 활용하여 Oracle 계정계 시스템의 거래·시세 데이터를 exactly-once 보장으로 실시간 수집합니다.· 데이터 레이크하우스 설계·운영: Databricks Delta Lake 위에 Bronze/Silver/Gold 메달리온 아키텍처를 구축하고, Delta Live Tables(DLT)와 Lakeflow를 활용하여 선언적 데이터 파이프라인을 개발합니다.
· 데이터 서빙 레이어 개발: OpenSearch(텍스트/시맨틱 검색), Redis(실시간 랭킹/캐싱), FastAPI 기반 REST API를 통해 다양한 소비자에게 데이터를 제공하는 멀티엔진 서빙 아키텍처를 구축합니다.
· AWS 클라우드 서비스 활용: S3(데이터 레이크 스토리지), EC2(데이터 처리 워크로드), EKS(컨테이너 기반 서비스) 등 AWS 서비스를 활용하여 데이터 파이프라인과 서빙 레이어를 구축·운영합니다.
· 데이터 거버넌스 및 규제 준수: Databricks Unity Catalog 기반 데이터 접근 제어, PII 마스킹/탐지, 금융 규제 준수를 위한 아카이빙 및 보안 아키텍처를 구현합니다.
· 크로스팀 협업: AI/ML 엔지니어, 프로덕트 엔지니어, 데이터 분석가와 긴밀히 협업하여 시세 데이터, 뉴스 데이터, 행동 분석 데이터 등의 요구사항을 파악하고 최적의 데이터 솔루션을 제공합니다.
자격요건
· 5년 이상의 데이터 엔지니어 경력· Python 또는 Java 중 하나 이상의 프로그래밍 언어에 능숙하신 분
· SQL 활용 능력이 뛰어나고 데이터 모델링에 대한 깊은 이해를 갖추신 분
· Apache Kafka 기반 대규모 실시간 스트리밍 데이터 처리 경험이 있으신 분
· Apache Spark 또는 Databricks 등 대용량 데이터 처리 프레임워크 사용 경험이 있으신 분
· CDC(Change Data Capture) 파이프라인 구축 경험이 있으신 분 (Flink CDC, Debezium 등)
· AWS 등 퍼블릭 클라우드 환경에서 데이터 인프라 구축 및 운영 경험이 있으신 분
· RDBMS(Oracle, PostgreSQL 등)에 대한 이해가 있으신 분
