포지션 상세
Impactive AI는 AI기반의 수요예측 및 재고 최적화 솔루션을 만드는 기업입니다.
우리는 다양한 산업군 고객이 데이터를 기반으로 더 나은 의사결정을 할 수 있도록 돕고 있습니다.
Data Engineer는 수요·원자재 가격 예측 모델에 쓰이는 외부 데이터 (각국 통계 기관, 거래소, 기업 공시, 업계 리포트 등)를 수집해 분석과 모델링에 바로 쓸 수 있는 형태로 공급하는 역할을 담당합니다.
• 공공 통계 API, 거래소, 기업 IR/공시 문서, 웹 페이지 등 다양한 외부 소스에서 정형·반정형·비정형 (PDF, 스캔 이미지 포함) 데이터를 수집하는 파이프라인 개발 및 운영
• 리서처·데이터 사이언티스트의 수집 요구를 받아 소스 조사, 수집 가능성 검토, 대체 소스 제안
• 원본 보존 레이어와 정제 레이어 (BigQuery) 설계 및 적재 모델링
• 수집 지연·이상치 등 데이터 품질 모니터링 운영, 장애 원인 분석과 재발 방지 문서화
• 수집 대상을 적은 비용으로 추가할 수 있도록 공통 수집 엔진과 자동화 개선
• Python으로 프로덕션 데이터 파이프라인 또는 서비스를 개발·운영한 경험
• HTTP, 세션·인증 처리 등 웹 데이터 수집에 대한 이해
• SQL을 활용한 데이터 모델링 및 변환 경험
• 워크플로 오케스트레이터와 클라우드 환경에서 배치 파이프라인을 운영한 경험
• 재시도, 멱등성, 중복 제거, 백필 등 배치 파이프라인 설계 원칙에 대한 이해
• 데이터 요청자 및 연계 서비스와 공유하는 스키마·계약을 설계하고 합의할 수 있는 역량
우리는 다양한 산업군 고객이 데이터를 기반으로 더 나은 의사결정을 할 수 있도록 돕고 있습니다.
Data Engineer는 수요·원자재 가격 예측 모델에 쓰이는 외부 데이터 (각국 통계 기관, 거래소, 기업 공시, 업계 리포트 등)를 수집해 분석과 모델링에 바로 쓸 수 있는 형태로 공급하는 역할을 담당합니다.
주요업무
○ 주요업무• 공공 통계 API, 거래소, 기업 IR/공시 문서, 웹 페이지 등 다양한 외부 소스에서 정형·반정형·비정형 (PDF, 스캔 이미지 포함) 데이터를 수집하는 파이프라인 개발 및 운영
• 리서처·데이터 사이언티스트의 수집 요구를 받아 소스 조사, 수집 가능성 검토, 대체 소스 제안
• 원본 보존 레이어와 정제 레이어 (BigQuery) 설계 및 적재 모델링
• 수집 지연·이상치 등 데이터 품질 모니터링 운영, 장애 원인 분석과 재발 방지 문서화
• 수집 대상을 적은 비용으로 추가할 수 있도록 공통 수집 엔진과 자동화 개선
자격요건
○ 자격 요건• Python으로 프로덕션 데이터 파이프라인 또는 서비스를 개발·운영한 경험
• HTTP, 세션·인증 처리 등 웹 데이터 수집에 대한 이해
• SQL을 활용한 데이터 모델링 및 변환 경험
• 워크플로 오케스트레이터와 클라우드 환경에서 배치 파이프라인을 운영한 경험
• 재시도, 멱등성, 중복 제거, 백필 등 배치 파이프라인 설계 원칙에 대한 이해
• 데이터 요청자 및 연계 서비스와 공유하는 스키마·계약을 설계하고 합의할 수 있는 역량
