포지션 상세
트릿지의 Data Acquisition Engineer 는 트릿지 비즈니스의 출발점이 되는 전세계 각국의 뉴스 데이터, 도매가격, 무역거래 정보, 관세, 기상 및 온도 데이터 등을 포함하는 모든 데이터 취득에 대한 관리 및 QA 의 책임을 갖고 있습니다.
각기 다른 국가의 소스로부터 수집되는 비정형 데이터는 트릿지의 모든 Operation 및 Intelligence 서비스로 이어지기에 원본 데이터의 획득 및 정형화 프로세스는 매우 중요하고 데이터의 domain complexity, variations 를 다루는데 있어 데이터의 기반과 정합성을 다지기 위해 높은 수준의 Engineering Quality 가 요구됩니다.
또한 Unqualified Data가 유발할 수 있는 비즈니스적 손실을 최소화하기 위해 더 높은 수준의 책임감과 Ownership, 꼼꼼함이 필요한 포지션입니다.
- Node 기반의 in-house 프레임워크를 통해 크롤러를 빌드 및 개선 합니다.
- In-house management system 을 통해 AWS 서비스상의 Job을 모니터링 및 스케줄링, 장애 관리를 합니다.
- 작성된 codebase 를 유지 및 보수하며 지속적인 코드 퀄리티를 유지합니다.
- 수집된 데이터의 전처리 및 QA를 통해 데이터의 퀄리티를 유지합니다.
- 데이터 Lake 와 Warehouse 에 확보된 데이터의 정합성을 관리합니다.
- Node 기반의 in-house request proxy 서비스를 관리 합니다.
- 책임감을 가지고 꼼꼼하고 꾸준하게 일할 수 있는 분
- 높은 에너지와 끈기를 가지고 빠르게 성장해 나갈 수 있는 분
- 기술적인 타협, 지름길 없이 높은 에너지를 유지할 수 있는 분
- 비효율성을 찾고 개선시키기 위한 노력과 끈기가 있는 분
- 기능구현에 들어가기 전에 구현하려는 시스템의 scope 를 명확하게 설명할 수 있으신 분
- Data Acquisition Engineer 로써 기본기를 다지고, Data Engineer 로써 career path 를 이어나가고 싶으신 분
각기 다른 국가의 소스로부터 수집되는 비정형 데이터는 트릿지의 모든 Operation 및 Intelligence 서비스로 이어지기에 원본 데이터의 획득 및 정형화 프로세스는 매우 중요하고 데이터의 domain complexity, variations 를 다루는데 있어 데이터의 기반과 정합성을 다지기 위해 높은 수준의 Engineering Quality 가 요구됩니다.
또한 Unqualified Data가 유발할 수 있는 비즈니스적 손실을 최소화하기 위해 더 높은 수준의 책임감과 Ownership, 꼼꼼함이 필요한 포지션입니다.
주요업무
- 크롤링을 통해 외부 데이터를 수집 하고 목적에 맞도록 재가공합니다.- Node 기반의 in-house 프레임워크를 통해 크롤러를 빌드 및 개선 합니다.
- In-house management system 을 통해 AWS 서비스상의 Job을 모니터링 및 스케줄링, 장애 관리를 합니다.
- 작성된 codebase 를 유지 및 보수하며 지속적인 코드 퀄리티를 유지합니다.
- 수집된 데이터의 전처리 및 QA를 통해 데이터의 퀄리티를 유지합니다.
- 데이터 Lake 와 Warehouse 에 확보된 데이터의 정합성을 관리합니다.
- Node 기반의 in-house request proxy 서비스를 관리 합니다.
자격요건
- Computer Science 에 대한 기초 이해가 있으신 분- 책임감을 가지고 꼼꼼하고 꾸준하게 일할 수 있는 분
- 높은 에너지와 끈기를 가지고 빠르게 성장해 나갈 수 있는 분
- 기술적인 타협, 지름길 없이 높은 에너지를 유지할 수 있는 분
- 비효율성을 찾고 개선시키기 위한 노력과 끈기가 있는 분
- 기능구현에 들어가기 전에 구현하려는 시스템의 scope 를 명확하게 설명할 수 있으신 분
- Data Acquisition Engineer 로써 기본기를 다지고, Data Engineer 로써 career path 를 이어나가고 싶으신 분
