포지션 상세
엘박스 Data Team은 Data Analyst, Data Engineer, Search Engineer로 구성되어 있으며 최신 데이터 기술을 활용하여 혁신적인 서비스를 제공하고 있습니다. 또한 법률, 공공기관, 교육 등 다양한 도메인에 걸쳐 데이터를 수집 정제 분석하는 전 주기 데이터 파이프라인을 운영하며 이를 통해 더 나은 의사결정을 지원하고, 검색 및 AI 기술에 활용될 수 있도록 돕고 있습니다.
• 데이터 엔지니어, 분석가, 리서처 등 다양한 직군과 협업해요.
• 프로젝트 리딩 및 팀원들의 기술 성장을 지원해요.
2. 데이터 인프라 및 파이프라인 설계/운영
• Databricks 기반 ETL 및 배치 파이프라인을 설계하고 운영해요.
• AWS 기반 인프라(S3, ECS, Lambda, Kinesis 등)와 연동된 데이터 처리 시스템을 구축해요.
데이터 웨어하우스 및 검색 시스템 아키텍처를 개선해요.
3. 검색 및 NLP 기반 시스템 운영
• Elasticsearch 기반 검색 인프라를 설계, 튜닝, 운영해요.
• 문서 유사도 분석, 키워드 추출 등 자연어 처리 파이프라인을 설계, 고도화해요.
4. 데이터 거버넌스 및 품질 관리
• 데이터 모니터링 체계를 구축하고 유의미한 지표를 설계해요.
• 스키마/메타데이터/감사 이력 등 데이터 관리 체계를 수립해요.
• Python 및 SQL 기반의 데이터 처리 능력이 있으신 분
• Spark, PySpark, Databricks 등 분산처리 시스템에 대한 깊은 이해를 가지고 계신 분
• Elasticsearch 기반 검색 시스템 설계 및 운영 경험이 있으신 분
• AWS (S3, ECS, Lambda, Kinesis 등) 인프라 연동 경험이 있으신 분
• 데이터 모델링, 스키마 관리, ETL 구조화 경험이 있으신 분
주요업무
1. 데이터팀 리딩 및 기술 방향성 수립• 데이터 엔지니어, 분석가, 리서처 등 다양한 직군과 협업해요.
• 프로젝트 리딩 및 팀원들의 기술 성장을 지원해요.
2. 데이터 인프라 및 파이프라인 설계/운영
• Databricks 기반 ETL 및 배치 파이프라인을 설계하고 운영해요.
• AWS 기반 인프라(S3, ECS, Lambda, Kinesis 등)와 연동된 데이터 처리 시스템을 구축해요.
데이터 웨어하우스 및 검색 시스템 아키텍처를 개선해요.
3. 검색 및 NLP 기반 시스템 운영
• Elasticsearch 기반 검색 인프라를 설계, 튜닝, 운영해요.
• 문서 유사도 분석, 키워드 추출 등 자연어 처리 파이프라인을 설계, 고도화해요.
4. 데이터 거버넌스 및 품질 관리
• 데이터 모니터링 체계를 구축하고 유의미한 지표를 설계해요.
• 스키마/메타데이터/감사 이력 등 데이터 관리 체계를 수립해요.
자격요건
• 10년 이상의 데이터 엔지니어링/분석 경력 또는 그에 준하는 경험을 보유하신 분• Python 및 SQL 기반의 데이터 처리 능력이 있으신 분
• Spark, PySpark, Databricks 등 분산처리 시스템에 대한 깊은 이해를 가지고 계신 분
• Elasticsearch 기반 검색 시스템 설계 및 운영 경험이 있으신 분
• AWS (S3, ECS, Lambda, Kinesis 등) 인프라 연동 경험이 있으신 분
• 데이터 모델링, 스키마 관리, ETL 구조화 경험이 있으신 분
