미리비트-Apache Flink 기반 실시간 데이터 파이프라인 전환 데이터 엔지니어
미리비트-Apache Flink 기반 실시간 데이터 파이프라인 전환 데이터 엔지니어
미리비트-Apache Flink 기반 실시간 데이터 파이프라인 전환 데이터 엔지니어
미리비트-Apache Flink 기반 실시간 데이터 파이프라인 전환 데이터 엔지니어
미리비트-Apache Flink 기반 실시간 데이터 파이프라인 전환 데이터 엔지니어
미리비트-Apache Flink 기반 실시간 데이터 파이프라인 전환 데이터 엔지니어
1/6
미리비트경기 성남시경력 5-11년

Apache Flink 기반 실시간 데이터 파이프라인 전환 데이터 엔지니어

포지션 상세

미리비트는 혁신적인 빅데이터 처리 기술을 바탕으로 데이터 중심의 다양한 솔루션을 제공하는 선도적인 빅데이터 전문 기업입니다.
1. 데이터 분석 및 처리 기술: 미리비트는 최신의 데이터 분석 및 처리 기술을 활용하여 고객에게 최적의 솔루션을 제공합니다.
2. 인메모리 기반 서버 기술: 고성능의 인메모리 기반 서버 기술을 통해 빠르고 안정적인 서비스를 제공합니다.
3. 고객 맞춤형 솔루션: 고객의 요구에 맞춘 맞춤형 솔루션을 제공하여 고객 만족도를 극대화합니다.

미리비트는 kubernetes, 클라우드 인프라 엔지니어를 모집하고 있으며, 이 직무는 하이닉스 반도체 빅데이터 전용 k8s 인프라 구축 개발 및 운영 담당하게 됩니다. 5년 이상의 경력을 보유한 kubernetes 엔지니어 분들의 지원을 기다립니다.

주요업무

• Spark 기반 배치 파이프라인 구조 분석 및 한계 정의
• Spark Flink 실시간 스트리밍 아키텍처 전환
• Flink(DataStream / Table API) 기반 핵심 스트리밍 파이프라인 설계·구현
• Event Time / Watermark, State 관리, Checkpoint 전략 설계
• Exactly-once 처리 보장을 위한 아키텍처 및 운영 전략 수립
• Kafka 등 실시간 데이터 소스 연계 구조 설계
• 실시간 파이프라인 운영 표준 수립 및 장애 대응 가이드 정립

자격요건

• 데이터 엔지니어링 또는 백엔드 개발 7년 이상 경력
• Apache Spark 기반 배치 데이터 파이프라인 실무 경험
• 대용량 데이터 처리 아키텍처 설계 및 운영 경험
• Java / Scala / Python 중 1개 이상에 대한 높은 숙련도
• 분산 시스템, 스트리밍 처리 구조에 대한 깊은 이해

기술 스택 • 툴

태그

마감일

상시채용

근무지역

경기 성남시 분당구 정자일로 155
본 채용정보는 원티드랩의 동의없이 무단전재, 재배포, 재가공할 수 없으며, 구직활동 이외의 용도로 사용할 수 없습니다.
본 채용 정보는 에서 제공한 자료를 바탕으로 원티드랩에서 표현을 수정하고 이의 배열 및 구성을 편집하여 완성한 원티드랩의 저작자산이자 영업자산입니다. 본 정보 및 데이터베이스의 일부 내지는 전부에 대하여 원티드랩의 동의 없이 무단전재 또는 재배포, 재가공 및 크롤링할 수 없으며, 게재된 채용기업의 정보는 구직자의 구직활동 이외의 용도로 사용될 수 없습니다. 원티드랩은 에서 게재한 자료에 대한 오류나 그 밖에 원티드랩이 가공하지 않은 정보의 내용상 문제에 대하여 어떠한 보장도 하지 않으며, 사용자가 이를 신뢰하여 취한 조치에 대해 책임을 지지 않습니다.
<저작권자 (주)원티드랩. 무단전재-재배포금지>