포지션 상세
DQ Lab은 싱가포르에 기반을 둔 글로벌 에듀테크 기업으로, DQ 글로벌 표준에 기반한 실시간 데이터 평가 및 시각화 벤치마킹 도구를 제공합니다. 이를 통해 개인, 조직, 국가가 디지털 환경에서 안전성과 역량을 높일 수 있도록 지원합니다. DQ Lab은 디지털 지능의 글로벌 표준을 수립하고 전 세계 디지털 지능 교육을 확산하는 국제 싱크탱크 DQ Institute(DQI)와 연계되어 있습니다. DQI는 DQ 프레임워크를 디지털 리터러시, 역량 및 준비도를 위한 공통 표준으로 발전시키고 있습니다. (dqinstitute.org · poweredbydq.com · dqworld.net)
본 직무는 핵심 데이터 엔지니어링뿐 아니라 LLM 기반 처리, 그래프 데이터 모델링, 데이터 품질 자동화, 제품 및 프론트엔드 팀과의 협업을 포함합니다. 데이터 무결성을 중요하게 여기고, 전체 데이터 파이프라인을 폭넓게 다루며, 제품 요구사항을 명확한 데이터 명세와 안정적인 운영 시스템으로 구현할 수 있는 분을 찾습니다.
[상세 직무 내용]
1. 데이터 파이프라인 설계·개발·운영
• API, 파일, 데이터베이스 등 다양한 소스로부터 데이터를 수집하는 ETL/ELT 파이프라인을 설계하고 구현합니다.
• 수집 정제 변환 적재의 각 단계에서 스키마, 데이터 타입 검증, 중복·결측치·이상치 처리 규칙을 정의합니다.
• 행 단위 그룹 단위 상위 단위로 이어지는 다단계 집계 로직을 구현하고, 각 단계에 자동 정합성 검사를 적용합니다.
• 파이프라인 스케줄링, 장애 감지 및 재처리, 실행 로그, 데이터 계보(lineage)를 관리합니다.
• 처리 시간과 메모리 사용량을 프로파일링하고 대규모 데이터 처리 성능을 최적화합니다.
2. LLM 기반 처리 파이프라인 개발·운영
• LLM API를 활용한 대규모 생성·분류·추출 파이프라인을 설계합니다. 배치 처리, 동시성 제어, 재시도 및 타임아웃 정책을 포함합니다.
• 구조화된 출력을 Pydantic 스키마로 검증하고, 실패 유형을 분류하여 후처리 로직을 구현합니다.
• 프롬프트와 스키마를 버전 관리하고, 변경 후 출력 품질에 대한 회귀 테스트를 수행합니다.
• 토큰 사용량, 비용, 지연시간을 측정하고 프롬프트 캐싱 등 비용 최적화 기법을 적용하며 보고를 자동화합니다.
• 스키마 준수율, 재시도율 등 출력 품질 지표를 정의하고 모니터링 대시보드를 구축합니다.
3. 그래프 데이터베이스 모델링·개발
• 계층형 및 관계형 데이터를 노드와 관계로 모델링하고 Neo4j 적재 파이프라인을 구축합니다.
• Cypher 쿼리를 작성하고 인덱스와 제약조건을 설계하며, 대량 적재 및 쿼리 성능을 최적화합니다.
• PageRank, 유사도 분석 등 그래프 알고리즘 결과를 처리·검증하여 서비스 데이터로 활용할 수 있도록 합니다.
• 관계형, 문서형 및 그래프 데이터베이스 간 동기화와 정합성을 유지합니다.
4. 서비스 및 대시보드 데이터 모델링
• 제품 요구사항과 UI 목업을 바탕으로 필요한 데이터 필드와 산출 로직을 정의합니다.
• ERD를 설계하고 정규화, 키 설계, 인덱싱, 이력 관리를 포함한 테이블 스키마를 구현합니다.
• 지표 산출 쿼리와 전처리 코드를 작성하고 집계 결과의 재현성을 보장합니다.
• 프론트엔드 및 제품 담당자와 협업하여 필드 정의, 데이터 타입, 갱신 주기 등의 데이터 명세를 조율하고 문서화합니다.
학력: 컴퓨터공학, 통계학, 수학, 산업공학 또는 관련 분야 학사 이상. 이에 준하는 실무 경험 보유자도 지원 가능
[필수 자격 역량]
• Python 기반 데이터 처리 실무 역량: pandas 활용 및 대용량 CSV·JSON·Excel 파일 처리 경험
• SQL 실무 역량: 조인, 집계, 서브쿼리 작성 능력 및 테이블 스키마(ERD)에 대한 이해
• REST API 연동 경험: 인증, 요청·응답 파싱 및 오류 처리
• Git 기반 협업 경험: 브랜치 전략 및 코드 리뷰
• API 문서와 데이터 명세 등 영문 기술 문서를 읽고 이해할 수 있는 능력
• 데이터 검증 로직을 작성하고 이상치와 결측치를 상시 점검하는 등 데이터 무결성을 중시하는 업무 태도
주요업무
DQ Lab의 평가, 벤치마킹 제품, AI 기반 업무 프로세스 및 대시보드를 뒷받침하는 데이터 인프라를 설계·구축·운영할 실무형 데이터 엔지니어를 찾습니다. 다양한 출처의 다국어·다국가 데이터를 신뢰할 수 있고 재현 가능한 데이터셋으로 가공하여, 관계형·문서형·벡터·그래프 데이터베이스에서 서비스에 활용할 수 있는 형태로 제공하는 역할입니다.본 직무는 핵심 데이터 엔지니어링뿐 아니라 LLM 기반 처리, 그래프 데이터 모델링, 데이터 품질 자동화, 제품 및 프론트엔드 팀과의 협업을 포함합니다. 데이터 무결성을 중요하게 여기고, 전체 데이터 파이프라인을 폭넓게 다루며, 제품 요구사항을 명확한 데이터 명세와 안정적인 운영 시스템으로 구현할 수 있는 분을 찾습니다.
[상세 직무 내용]
1. 데이터 파이프라인 설계·개발·운영
• API, 파일, 데이터베이스 등 다양한 소스로부터 데이터를 수집하는 ETL/ELT 파이프라인을 설계하고 구현합니다.
• 수집 정제 변환 적재의 각 단계에서 스키마, 데이터 타입 검증, 중복·결측치·이상치 처리 규칙을 정의합니다.
• 행 단위 그룹 단위 상위 단위로 이어지는 다단계 집계 로직을 구현하고, 각 단계에 자동 정합성 검사를 적용합니다.
• 파이프라인 스케줄링, 장애 감지 및 재처리, 실행 로그, 데이터 계보(lineage)를 관리합니다.
• 처리 시간과 메모리 사용량을 프로파일링하고 대규모 데이터 처리 성능을 최적화합니다.
2. LLM 기반 처리 파이프라인 개발·운영
• LLM API를 활용한 대규모 생성·분류·추출 파이프라인을 설계합니다. 배치 처리, 동시성 제어, 재시도 및 타임아웃 정책을 포함합니다.
• 구조화된 출력을 Pydantic 스키마로 검증하고, 실패 유형을 분류하여 후처리 로직을 구현합니다.
• 프롬프트와 스키마를 버전 관리하고, 변경 후 출력 품질에 대한 회귀 테스트를 수행합니다.
• 토큰 사용량, 비용, 지연시간을 측정하고 프롬프트 캐싱 등 비용 최적화 기법을 적용하며 보고를 자동화합니다.
• 스키마 준수율, 재시도율 등 출력 품질 지표를 정의하고 모니터링 대시보드를 구축합니다.
3. 그래프 데이터베이스 모델링·개발
• 계층형 및 관계형 데이터를 노드와 관계로 모델링하고 Neo4j 적재 파이프라인을 구축합니다.
• Cypher 쿼리를 작성하고 인덱스와 제약조건을 설계하며, 대량 적재 및 쿼리 성능을 최적화합니다.
• PageRank, 유사도 분석 등 그래프 알고리즘 결과를 처리·검증하여 서비스 데이터로 활용할 수 있도록 합니다.
• 관계형, 문서형 및 그래프 데이터베이스 간 동기화와 정합성을 유지합니다.
4. 서비스 및 대시보드 데이터 모델링
• 제품 요구사항과 UI 목업을 바탕으로 필요한 데이터 필드와 산출 로직을 정의합니다.
• ERD를 설계하고 정규화, 키 설계, 인덱싱, 이력 관리를 포함한 테이블 스키마를 구현합니다.
• 지표 산출 쿼리와 전처리 코드를 작성하고 집계 결과의 재현성을 보장합니다.
• 프론트엔드 및 제품 담당자와 협업하여 필드 정의, 데이터 타입, 갱신 주기 등의 데이터 명세를 조율하고 문서화합니다.
자격요건
경력: 관련 경력 약 2년 이상학력: 컴퓨터공학, 통계학, 수학, 산업공학 또는 관련 분야 학사 이상. 이에 준하는 실무 경험 보유자도 지원 가능
[필수 자격 역량]
• Python 기반 데이터 처리 실무 역량: pandas 활용 및 대용량 CSV·JSON·Excel 파일 처리 경험
• SQL 실무 역량: 조인, 집계, 서브쿼리 작성 능력 및 테이블 스키마(ERD)에 대한 이해
• REST API 연동 경험: 인증, 요청·응답 파싱 및 오류 처리
• Git 기반 협업 경험: 브랜치 전략 및 코드 리뷰
• API 문서와 데이터 명세 등 영문 기술 문서를 읽고 이해할 수 있는 능력
• 데이터 검증 로직을 작성하고 이상치와 결측치를 상시 점검하는 등 데이터 무결성을 중시하는 업무 태도
