포지션 상세

한국신용데이터(KCD)는 데이터를 바탕으로 사업의 모든 순간을 더 쉽게, 더 빠르게, 더 똑똑하게 만드는 생태계를 일궈냅니다. 경영관리 서비스 ‘캐시노트’는 150만여 사업장(2024년 7월 기준)에 도입돼 소상공인의 디지털 데이터 인프라의 사실상 표준으로 자리했으며, 한국결제네트웍스(VAN/PG), 한국평가정보(개인사업자 신용평가), 한국비즈커넥트(소상공인 교육), 아임유(POS) 등 KCD 공동체사와 함께 약 220만 사업장에 서비스를 공급하고 있습니다. 2023년 8월 개인사업자를 대상으로 사업을 영위하는 회사로서는 국내 최초의 유니콘 기업의 자리에 올랐습니다.

KCD의 투자 유치는 자본 제휴를 통한 소상공인/자영업자 비즈니스 생태계 강화로 연결됩니다. 2016년 설립 이후 싱가포르 국부펀드 Temasek(Pavilion Capital), 글로벌 투자회사 Morgan Stanley(Tactical Value), 글로벌 결제회사 Fiserv와 같은 해외 투자자와 국내 업계를 선도하는 KB국민은행, 신한카드, LG유플러스, GS, 한화생명 등 국내 투자자로부터 3,100억 원 이상의 투자를 유치했습니다.

KCD는 사업의 모든 순간, 누구나 기술 혜택을 누리는 세상을 꿈꿉니다. 이 여정을 함께할 동료를 기다립니다.

[데이터플랫폼팀 소개]
1. 데이터 확보 : 서비스 사용자의 문제 해결에 도움이 되는 데이터들을 효과적이고 안정적으로 확보 합니다. 사용자가 많아져도 안정적인 서비스가 가능해야 하기에 scalable한 분산 시스템 개발에 집중하고 있고, 필요한 데이터 소스들이 추가 되었을 때도 최소한의 리소스만으로 자동화하여 데이터를 확보 할 수 있는 프레임워크 개발/운영에 집중하고 있습니다.
2. 데이터 관리/가공 : 확보된 데이터들을 가공/정제 하고, 비즈니스 로직들을 적용하여 서비스에 필요한 형태의 데이터를 만듭니다. 전체 데이터 파이프라인을 누가 봐도 쉽게 따라갈 수 있도록 하기 위해 코딩보다는 Spark SQL을 활용한 데이터 처리를 선호하고, 각 로직들을 어떤 runtime에서도 쉽게 테스트 해볼 수 있는 형태로 개발하는 걸 중요하게 생각합니다.
3. 데이터 API제공 : 정제된 데이터들을 서비스에 API형태로 제공합니다. KCD 데이터 레이크 안에 존재하는 데이터를 일반화된 형태(Property Graph Model)로 추상화 하여 서비스에서 기능 개발 시 복잡한 비즈니스 로직을 중복해서 개발하지 않도록 API를 제공하는 걸 중요하게 생각합니다. 단순히 API를 제공하는 거로 그치지 않고, 다양한 비즈니스 로직들을 테스트 할 수 있는 A/B 테스트 환경을 제공하는 것도 중요하게 생각합니다.
단순히 데이터 플랫폼을 개발하고, 전사 데이터를 생성 및 관리할 뿐 아니라 데이터를 기반으로 한 서비스 플랫폼도 개발 및 운영(마케팅 플랫폼)하고 있습니다.

주요업무

• 데이터 플랫폼팀에서 사용하는 원천소스 데이터를 스크래핑과 외부 API 연동을 통하여 수집합니다.
• 신규 데이터소스가 추가되거나 기존 데이터 구조 변경시에 최소한의 수정으로 적용될 수 있는 프레임워크 개발/운영에 집중하고 있습니다.
• 수집된 데이터는 Message Queue를 통하여 다양한 Storage에 저장됩니다.
• KCD에서는 데이터의 정확도를 매우 중요하게 생각하여 데이터의 품질을 높일 수 있는 다양한 고민이 필요합니다.
• 또한 비즈니스 요구사항을 충족할 수 있는 원천소스를 발굴하는 작업을 팀과 함께 진행할 수 있습니다.

[KCD 데이터플랫폼팀에서 사용하는 기술]
• Spring Framework + Java/Kotlin, Python, Scala, PostgreSQL
• Jenkins, Git, Docker, Amazon ECS, Terraform
• Spark, Kinesis, Elastic, Redis, HBase

자격요건

기술 및 경험
• 데이터 스크래핑 경력 3년 이상
• 외부 API 연동개발 경험이 있는 분
• HTTP 등 TCP 기반 프로토콜에 대한 이해가 있는 분
• 비정형 데이터 파싱에 조예가 깊은 분
• 웹 서비스 구축 역량을 지닌 분 (RDB 사용경험 포함)
• Python, Java 언어 실무 경험이 있는 분
• 리눅스 운용 역량을 지닌 분
• SQL 실무 경험이 있는 분
• AWS Cloud 환경을 경험해 본 분

태도
• 체계적으로 사고하고 구조화하는 것을 추구하는 분
• 문제해결에 있어서 Grit을 가지고 Dive Deep하는 분
• 실패를 두려워하지 않는 용기가 있고, 동료의 실수에 비난하지 않는 분
• 10X의 높은 목표를 세우고 방법을 찾기위해서 노력하는 분

근무지역

서울특별시 강남구 테헤란로 127, 5층(하나금융그룹 강남사옥)

[데이터플랫폼팀] Data Scraping Engineer

포지션 상세

주요업무

자격요건

기술 스택 • 툴

태그

마감일

근무지역