에스투더블유(S2W)-웹 크롤러 개발자 (데이터 엔지니어)
에스투더블유(S2W)-웹 크롤러 개발자 (데이터 엔지니어)
에스투더블유(S2W)-웹 크롤러 개발자 (데이터 엔지니어)
에스투더블유(S2W)-웹 크롤러 개발자 (데이터 엔지니어)
에스투더블유(S2W)-웹 크롤러 개발자 (데이터 엔지니어)
1/5
에스투더블유(S2W)경기 성남시신입-경력 6년

웹 크롤러 개발자 (데이터 엔지니어)

포지션 상세

2018년 9월에 설립된 S2W는 세계경제포럼(WEF)이 ‘100대 기술 선도기업’으로 선정한 ‘빅데이터 분석 AI 기업’입니다.
△공공ㆍ정부기관용 사이버안보 빅데이터 플랫폼 ‘자비스(XARVIS)’
△기업용 인텔리전스 플랫폼 ‘퀘이사(QUAXAR)’
△산업용 생성형 AI 플랫폼 ‘SAIP(S2W AI Platform)’ 등 ‘데이터 교차분석 기술’이 적용된 AI 기반 솔루션을 제공합니다.
이를 통해 국내외 다양한 산업군 및 정부기관 고객들에게 최적의 의사결정을 지원하는 고도의 데이터 인사이트를 제공하고 있습니다.
대표적으로 ‘인터폴(INTERPOL)’의 파트너사로서 국제안보 강화를 위해 공조하고 마이크로소프트(MS)의 ‘시큐리티 코파일럿(Copilot for Security)’과 협업하는 등, 차별화된 AI 및 데이터 기술력을 바탕으로 글로벌 시장의 주목을 받고 있습니다.



■ 합류하실 팀을 소개합니다.

• 데이터 팀은 서피스웹, 딥웹, ​다크웹 ​및 다양한 ​SNS로부터 방대한 데이터를 ​수집·저장하고, 이를 ​기반으로 ​최첨단 데이터 ​분석 ​시스템을 ​개발·운영하는 조직입니다.
• 팀원들은 2년차부터 ​13년차 ​이상의 숙련된 개발자들로 ​구성되어 ​있으며, ​언제나 최신 기술을 ​탐구하고 서로의 ​지식을 ​나누며 함께 ​성장하는 열정적이고 ​개방적인 ​문화를 지향합니다.
• 지난 7년 ​이상 데이터 ​수집·분석·데이터 파이프라인 고도화를 이어오며, 업계 최고 수준의 데이터 품질과 규모를 확보해왔습니다. 또한 운영 효율성을 극대화하기 위해 자동화와 프레임워크화에도 끊임없이 도전하고 있습니다.

• 데이터 팀이 관여하는 업무 영역은 크게 두 가지로 구분됩니다.
[ 수집 ]
 - 다양한 원천(서피스웹·딥웹·다크웹·SNS 등)에서 대용량 데이터를 안정적·신속하게 확보할 수 있는 수집기를 개발·운영합니다.
 - 봇 탐지 및 차단 우회 기술을 연구·적용하여 수집 신뢰성 및 가용성을 확보합니다.
 - 외부 노출 자산 수집: 조직의 외부 노출 표면을 자동으로 파악·모니터링하는 네트워크 서비스 탐지 및 자산 식별 모듈을 설계·구현·운영합니다. 대규모 대상에 대한 효율적 탐색 스케줄링, 서비스·프로토콜 식별(핑거프린팅), 탐지 데이터의 실시간 수집·정규화·저장을 담당합니다.

[ 분석 및 파이프라인 ]
 - 수집된 원시 데이터에서 의미 있는 정보를 추출하는 분석기를 개발·운영하고, 제품화에 적합한 데이터 변환(정제·정규화·엔리치) 작업을 수행합니다.
 - 스캔/탐지로 수집된 자산 데이터와 분석 결과를 실시간 파이프라인에 통합하여, 알림·대시보드·취약성 연계 등 운영 시스템과 연동될 수 있도록 합니다.
 - 모든 처리 단계는 컨테이너 기반으로 관리되어 안정성과 확장성을 보장하며, 성능 최적화 및 리소스 효율화에 중점을 둡니다.

• 데이터 팀은 방대한 데이터를 단순히 모으는 데서 그치지 않고, 이를 실질적인 인사이트와 가치로 전환하는 것을 목표로 합니다. 여러분은 이곳에서 세계 최고 수준의 데이터 기술과 함께 성장할 기회를 만나실 수 있습니다.

주요업무

데이터 팀은 S2W의 제품 개발·운영에 필요한 모든 데이터를 수집·분석하고, 관련 소프트웨어들의 효율성과 가용성을 높이는 역할을 담당합니다. 그 중 웹 데이터 수집 및 분석 영역에서는 다음과 같은 업무를 수행합니다.

• Surface Web, Deep/Dark Web 수집기 운영
• 봇탐지/차단 우회 기술 개발/적용
• 수집데이터 저장/관리
• 수집 모듈을 위한 API 개발 및 운영
• 웹 수집/분석/데이터 파이프라인을 위한 컨테이너 환경 관리
• 웹 수집/분석/데이터 파이프라인을 위한 core library 개발/관리

자격요건

• 컴퓨터공학 전공 혹은 그에 준하는 전공 및 지식 보유
• 2년 이상의 Python 또는 Java 개발 경험 (한 개 이상 원활한 프로그래밍 가능)
• Docker, Kubernetes 활용 경험
• DB를 활용한 애플리케이션 또는 파이프라인 설계/구축 경험
• Object Oriented Programming (OOP)에 대한 이해 (Java, C++ 등의 프로그래밍 언어 경험)
• HTTP에 대한 기초 지식

기술 스택 • 툴

태그

마감일

상시채용

근무지역

경기도 성남시 분당구 판교역로192번길 12, 3층 (삼평동, 판교미래에셋센터)
본 채용정보는 원티드랩의 동의없이 무단전재, 재배포, 재가공할 수 없으며, 구직활동 이외의 용도로 사용할 수 없습니다.

본 채용 정보는 에서 제공한 자료를 바탕으로 원티드랩에서 표현을 수정하고 이의 배열 및 구성을 편집하여 완성한 원티드랩의 저작자산이자 영업자산입니다. 본 정보 및 데이터베이스의 일부 내지는 전부에 대하여 원티드랩의 동의 없이 무단전재 또는 재배포, 재가공 및 크롤링할 수 없으며, 게재된 채용기업의 정보는 구직자의 구직활동 이외의 용도로 사용될 수 없습니다. 원티드랩은 에서 게재한 자료에 대한 오류나 그 밖에 원티드랩이 가공하지 않은 정보의 내용상 문제에 대하여 어떠한 보장도 하지 않으며, 사용자가 이를 신뢰하여 취한 조치에 대해 책임을 지지 않습니다.
<저작권자 (주)원티드랩. 무단전재-재배포금지>
ai-agent
아무리 찾아도 없던 포지션, 이제 에이전트로 바로 찾으세요!