포지션 상세
미리비트는 빅데이터 처리 기술을 기반으로 다양한 데이터 솔루션을 제공하는 전문 기업입니다.
Kubernetes 기반 대규모 데이터 플랫폼 환경에서 다양한 데이터 플랫폼 서비스를 설계·구축·운영할 수 있는 엔지니어를 찾고 있습니다.
Apache Kafka, Airflow, Hive Metastore, PostgreSQL 등 데이터 플랫폼 핵심 서비스의 아키텍처와 동작 원리를 이해하고, Kubernetes 환경에서 서비스 배포·연동·설정 최적화·운영 안정화까지 수행할 수 있는 분을 모십니다.
이 포지션은 단순한 Kubernetes 인프라 운영이나 데이터 파이프라인 개발이 아닌, 데이터 플랫폼 서비스의 구축부터 설정·연동, 배포 자동화, Operator 관리, 서비스 최적화 및 장애 대응까지 End-to-End로 수행하는 역할입니다.
• Apache Kafka 및 Kafka Connect 서비스 구성·연동·운영
• Apache Airflow 기반 Workflow Orchestration 서비스 구축·운영
• Hive Metastore 및 PostgreSQL 등 메타데이터·데이터베이스 서비스 구성·연동
• Spark Application 실행 구조 및 작업 처리 방식에 대한 이해를 바탕으로 서비스 연동 지원
• Kafka, Airflow 등 데이터 플랫폼 서비스 간 연동 및 실행 환경 구성
• S3 Compatible Object Storage(MinIO/AIStor), HDFS 등 외부 데이터 저장소와 서비스 연동
• LDAP, OPA 기반 서비스 인증·인가 및 접근 제어 정책 구성
• 서비스별 설정 관리 및 안정적인 데이터 플랫폼 실행 환경 제공
2. Kubernetes 기반 서비스 배포 및 자동화
• Kubernetes 기반 데이터 플랫폼 서비스 배포·운영
• Helm, Kustomize 기반 서비스 배포 템플릿 및 환경별 설정 관리
• ArgoCD 기반 GitOps 및 CI/CD 배포 자동화
• Kubernetes Operator 기반 서비스 라이프사이클 관리
- Spark Operator 기반 SparkApplication 실행 환경 관리
- Strimzi Operator 기반 Kafka 서비스 구성
- CloudNativePG(CNPG) 기반 PostgreSQL 서비스 운영
- Flink Kubernetes Operator 기반 서비스 구성
• Kubernetes Custom Resource(CR/CRD) 기반 서비스 설정 및 배포 관리
• 서비스별 Container Image 및 Helm Chart 구성·관리
• Dev / Staging / Production 환경별 서비스 배포 및 설정 관리
• Operator 및 서비스 버전 업그레이드, API·CRD 호환성 검증
3. 서비스 최적화 및 운영 안정화
• Kafka Broker, Topic, Consumer, Connector 관련 설정 및 운영 최적화
• Airflow Scheduler, Worker, Executor 실행 환경 구성 및 최적화
• Spark Driver / Executor 구조, 작업 실행 및 리소스 사용 방식에 대한 이해를 바탕으로 실행 환경 문제 분석
• 서비스 간 통신, 인증, 권한 및 외부 시스템 연동 문제 해결
• Kubernetes 기반 서비스 장애 원인 분석 및 Troubleshooting
• 서비스 버전별 기능 변경·호환성 검토 및 업그레이드 수행
• 신규 데이터 플랫폼 서비스 PoC 및 성능 검증
• Apache Kafka, Airflow 등 데이터 플랫폼 서비스의 아키텍처 및 운영에 대한 이해
• Apache Spark의 Driver, Executor, Job, Stage, Task 등 작업 실행 구조에 대한 기본적인 이해
• Kubernetes 환경에서 Helm 또는 Kustomize를 활용한 서비스 배포 경험
• Kubernetes Operator 및 Custom Resource 동작 원리에 대한 이해
• Container 기반 애플리케이션 구성 및 운영 경험
• Python, Shell Script 등을 활용한 서비스 연동·운영 자동화 역량
• 서비스 장애 원인 분석 및 문제 해결 경험
• Git 기반 형상 관리 및 CI/CD 프로세스에 대한 이해
Kubernetes 기반 대규모 데이터 플랫폼 환경에서 다양한 데이터 플랫폼 서비스를 설계·구축·운영할 수 있는 엔지니어를 찾고 있습니다.
Apache Kafka, Airflow, Hive Metastore, PostgreSQL 등 데이터 플랫폼 핵심 서비스의 아키텍처와 동작 원리를 이해하고, Kubernetes 환경에서 서비스 배포·연동·설정 최적화·운영 안정화까지 수행할 수 있는 분을 모십니다.
이 포지션은 단순한 Kubernetes 인프라 운영이나 데이터 파이프라인 개발이 아닌, 데이터 플랫폼 서비스의 구축부터 설정·연동, 배포 자동화, Operator 관리, 서비스 최적화 및 장애 대응까지 End-to-End로 수행하는 역할입니다.
주요업무
1. Data Platform Service Engineering• Apache Kafka 및 Kafka Connect 서비스 구성·연동·운영
• Apache Airflow 기반 Workflow Orchestration 서비스 구축·운영
• Hive Metastore 및 PostgreSQL 등 메타데이터·데이터베이스 서비스 구성·연동
• Spark Application 실행 구조 및 작업 처리 방식에 대한 이해를 바탕으로 서비스 연동 지원
• Kafka, Airflow 등 데이터 플랫폼 서비스 간 연동 및 실행 환경 구성
• S3 Compatible Object Storage(MinIO/AIStor), HDFS 등 외부 데이터 저장소와 서비스 연동
• LDAP, OPA 기반 서비스 인증·인가 및 접근 제어 정책 구성
• 서비스별 설정 관리 및 안정적인 데이터 플랫폼 실행 환경 제공
2. Kubernetes 기반 서비스 배포 및 자동화
• Kubernetes 기반 데이터 플랫폼 서비스 배포·운영
• Helm, Kustomize 기반 서비스 배포 템플릿 및 환경별 설정 관리
• ArgoCD 기반 GitOps 및 CI/CD 배포 자동화
• Kubernetes Operator 기반 서비스 라이프사이클 관리
- Spark Operator 기반 SparkApplication 실행 환경 관리
- Strimzi Operator 기반 Kafka 서비스 구성
- CloudNativePG(CNPG) 기반 PostgreSQL 서비스 운영
- Flink Kubernetes Operator 기반 서비스 구성
• Kubernetes Custom Resource(CR/CRD) 기반 서비스 설정 및 배포 관리
• 서비스별 Container Image 및 Helm Chart 구성·관리
• Dev / Staging / Production 환경별 서비스 배포 및 설정 관리
• Operator 및 서비스 버전 업그레이드, API·CRD 호환성 검증
3. 서비스 최적화 및 운영 안정화
• Kafka Broker, Topic, Consumer, Connector 관련 설정 및 운영 최적화
• Airflow Scheduler, Worker, Executor 실행 환경 구성 및 최적화
• Spark Driver / Executor 구조, 작업 실행 및 리소스 사용 방식에 대한 이해를 바탕으로 실행 환경 문제 분석
• 서비스 간 통신, 인증, 권한 및 외부 시스템 연동 문제 해결
• Kubernetes 기반 서비스 장애 원인 분석 및 Troubleshooting
• 서비스 버전별 기능 변경·호환성 검토 및 업그레이드 수행
• 신규 데이터 플랫폼 서비스 PoC 및 성능 검증
자격요건
• Kubernetes 기반 플랫폼 또는 데이터 플랫폼 서비스 구축·운영 경험 3년 이상 또는 동등한 역량• Apache Kafka, Airflow 등 데이터 플랫폼 서비스의 아키텍처 및 운영에 대한 이해
• Apache Spark의 Driver, Executor, Job, Stage, Task 등 작업 실행 구조에 대한 기본적인 이해
• Kubernetes 환경에서 Helm 또는 Kustomize를 활용한 서비스 배포 경험
• Kubernetes Operator 및 Custom Resource 동작 원리에 대한 이해
• Container 기반 애플리케이션 구성 및 운영 경험
• Python, Shell Script 등을 활용한 서비스 연동·운영 자동화 역량
• 서비스 장애 원인 분석 및 문제 해결 경험
• Git 기반 형상 관리 및 CI/CD 프로세스에 대한 이해
