포지션 상세
직무 Summary
넥스트증권 AI데이터플랫폼팀과 함께 금융 데이터 플랫폼의 기반 인프라(Databricks·Kafka·EKS·RDS)를 운영할 Data Engineer (Data Platform, 경력)를 모집합니다. Databricks 레이크하우스(Delta Lake·Unity Catalog), Confluent Kafka 클러스터, 데이터 서비스·API·배치 워커를 실행하는 EKS 클러스터, 서비스 데이터를 저장하는 RDS를 직접 운영합니다. 환경 분리·권한·비용·용량·백업·복구를 관리하고 이 구성을 Terraform과 CI/CD로 코드화합니다. 운영 중인 Kafka·Databricks·EKS·RDS 워크로드의 안정성 기준과 장애 복구·멀티 환경 확장 절차를 팀 표준으로 정립하는 자리입니다.
• Kafka 플랫폼 운영: Confluent Kafka 클러스터(브로커·Schema Registry·Kafka Connect 클러스터)를 구축·운영합니다. 토픽·ACL·쿼터·보존 정책과 멀티 환경 구성을 관리하고 처리량·지연·장애 복구·버전 업그레이드를 책임집니다.
• 서비스 인프라 운영(EKS·RDS): 데이터 서비스·API·배치 워커가 동작하는 EKS 클러스터와 RDS 인스턴스를 운영합니다. 버전 업그레이드·노드와 용량 관리·백업·복구·보안 패치·비용을 책임지고 장애에 대응합니다.
• 파이프라인 실행 플랫폼: Financial Data DE·DAE가 개발한 배치·스트리밍 파이프라인이 동작하는 실행 환경(컴퓨트·스케줄러·오케스트레이션·관측)을 운영하고 재처리·백필을 수행할 수 있는 운영 도구와 절차를 제공합니다.
• 데이터 품질·거버넌스 플랫폼: 데이터 담당자가 정의한 품질 규칙을 파이프라인에 적용하고 결과를 모니터링할 수 있도록 공통 품질 게이트와 운영 도구를 제공합니다. 카탈로그·리니지 수집 기반과 권한 적용 자동화를 운영하고 데이터별 계약·메타데이터·접근 요건은 데이터 담당자와 협의해 반영합니다.
• IaC·환경 자동화: Terraform 등 IaC와 CI/CD로 데이터 인프라·워크스페이스·권한·네트워크 구성을 코드화하고 환경 복제·확장을 자동화합니다.
• 플랫폼 안정성·온콜: 모니터링·알림·런북을 정비하고 공통 플랫폼·인프라 장애의 온콜 rotation에 참여합니다. 개별 파이프라인의 처리 로직·데이터 품질 장애는 해당 데이터 담당자와 협업해 복구하고 사후 개선을 주도합니다.
• 다운스트림 플랫폼 지원: 데이터를 사용하는 서비스·분석·AI/ML 팀이 안정적으로 데이터를 소비하도록 플랫폼 인터페이스·가용성과 전송 지연 기준·운영 가이드를 제공합니다.
• Python, Java, Kotlin 중 하나 이상의 프로그래밍 언어에 능숙하신 분
• Apache Spark 또는 Databricks 등 대용량 처리 플랫폼을 프로덕션에서 운영해보신 분
• 대용량 데이터 처리와 분산 시스템을 이해하고 계신 분
• 배치·스트리밍 파이프라인의 실행 환경(스케줄러·오케스트레이션·관측)을 운영하고 장애 시 재처리·백필을 지원해보신 분
• AWS 등 퍼블릭 클라우드에서 데이터 인프라를 구축·운영해보신 분
• 다음 중 1개 이상을 프로덕션에서 직접 운영해보신 분
- EKS 등 Kubernetes 클러스터(배포·업그레이드·노드 관리·모니터링·장애 대응)
- RDS 등 관리형 RDBMS(PostgreSQL, MySQL 등)(백업·복구·성능 튜닝·보안 설정)
• Terraform 등 IaC로 인프라를 코드화하고 CI/CD와 함께 운영해보신 분
• 모니터링·알림·온콜 등 프로덕션 운영 경험이 있으신 분
넥스트증권 AI데이터플랫폼팀과 함께 금융 데이터 플랫폼의 기반 인프라(Databricks·Kafka·EKS·RDS)를 운영할 Data Engineer (Data Platform, 경력)를 모집합니다. Databricks 레이크하우스(Delta Lake·Unity Catalog), Confluent Kafka 클러스터, 데이터 서비스·API·배치 워커를 실행하는 EKS 클러스터, 서비스 데이터를 저장하는 RDS를 직접 운영합니다. 환경 분리·권한·비용·용량·백업·복구를 관리하고 이 구성을 Terraform과 CI/CD로 코드화합니다. 운영 중인 Kafka·Databricks·EKS·RDS 워크로드의 안정성 기준과 장애 복구·멀티 환경 확장 절차를 팀 표준으로 정립하는 자리입니다.
주요업무
• 레이크하우스 플랫폼 설계·운영: Databricks Delta Lake·Unity Catalog 기반 레이크하우스의 스토리지·컴퓨트·카탈로그 구조를 설계하고 환경 분리·권한·비용·성능을 관리합니다.• Kafka 플랫폼 운영: Confluent Kafka 클러스터(브로커·Schema Registry·Kafka Connect 클러스터)를 구축·운영합니다. 토픽·ACL·쿼터·보존 정책과 멀티 환경 구성을 관리하고 처리량·지연·장애 복구·버전 업그레이드를 책임집니다.
• 서비스 인프라 운영(EKS·RDS): 데이터 서비스·API·배치 워커가 동작하는 EKS 클러스터와 RDS 인스턴스를 운영합니다. 버전 업그레이드·노드와 용량 관리·백업·복구·보안 패치·비용을 책임지고 장애에 대응합니다.
• 파이프라인 실행 플랫폼: Financial Data DE·DAE가 개발한 배치·스트리밍 파이프라인이 동작하는 실행 환경(컴퓨트·스케줄러·오케스트레이션·관측)을 운영하고 재처리·백필을 수행할 수 있는 운영 도구와 절차를 제공합니다.
• 데이터 품질·거버넌스 플랫폼: 데이터 담당자가 정의한 품질 규칙을 파이프라인에 적용하고 결과를 모니터링할 수 있도록 공통 품질 게이트와 운영 도구를 제공합니다. 카탈로그·리니지 수집 기반과 권한 적용 자동화를 운영하고 데이터별 계약·메타데이터·접근 요건은 데이터 담당자와 협의해 반영합니다.
• IaC·환경 자동화: Terraform 등 IaC와 CI/CD로 데이터 인프라·워크스페이스·권한·네트워크 구성을 코드화하고 환경 복제·확장을 자동화합니다.
• 플랫폼 안정성·온콜: 모니터링·알림·런북을 정비하고 공통 플랫폼·인프라 장애의 온콜 rotation에 참여합니다. 개별 파이프라인의 처리 로직·데이터 품질 장애는 해당 데이터 담당자와 협업해 복구하고 사후 개선을 주도합니다.
• 다운스트림 플랫폼 지원: 데이터를 사용하는 서비스·분석·AI/ML 팀이 안정적으로 데이터를 소비하도록 플랫폼 인터페이스·가용성과 전송 지연 기준·운영 가이드를 제공합니다.
자격요건
• 5년 이상의 데이터 엔지니어 또는 데이터 플랫폼 엔지니어 경력• Python, Java, Kotlin 중 하나 이상의 프로그래밍 언어에 능숙하신 분
• Apache Spark 또는 Databricks 등 대용량 처리 플랫폼을 프로덕션에서 운영해보신 분
• 대용량 데이터 처리와 분산 시스템을 이해하고 계신 분
• 배치·스트리밍 파이프라인의 실행 환경(스케줄러·오케스트레이션·관측)을 운영하고 장애 시 재처리·백필을 지원해보신 분
• AWS 등 퍼블릭 클라우드에서 데이터 인프라를 구축·운영해보신 분
• 다음 중 1개 이상을 프로덕션에서 직접 운영해보신 분
- EKS 등 Kubernetes 클러스터(배포·업그레이드·노드 관리·모니터링·장애 대응)
- RDS 등 관리형 RDBMS(PostgreSQL, MySQL 등)(백업·복구·성능 튜닝·보안 설정)
• Terraform 등 IaC로 인프라를 코드화하고 CI/CD와 함께 운영해보신 분
• 모니터링·알림·온콜 등 프로덕션 운영 경험이 있으신 분
