에스투더블유(S2W)-Data Engineer (비웹수집 파이프라인)
에스투더블유(S2W)-Data Engineer (비웹수집 파이프라인)
1/2
에스투더블유(S2W)경기 성남시신입-경력 10년

Data Engineer (비웹수집 파이프라인)

포지션 상세

2018년 9월에 설립된 S2W는 세계경제포럼(WEF)이 ‘100대 기술 선도기업’으로 선정한 ‘빅데이터 분석 AI 기업’입니다.
△공공ㆍ정부기관용 사이버안보 빅데이터 플랫폼 ‘자비스(XARVIS)’
△기업용 인텔리전스 플랫폼 ‘퀘이사(QUAXAR)’
△산업용 생성형 AI 플랫폼 ‘SAIP(S2W AI Platform)’ 등 ‘데이터 교차분석 기술’이 적용된 AI 기반 솔루션을 제공합니다.
이를 통해 국내외 다양한 산업군 및 정부기관 고객들에게 최적의 의사결정을 지원하는 고도의 데이터 인사이트를 제공하고 있습니다.
대표적으로 ‘인터폴(INTERPOL)’의 파트너사로서 국제안보 강화를 위해 공조하고 마이크로소프트(MS)의 ‘시큐리티 코파일럿(Copilot for Security)’과 협업하는 등, 차별화된 AI 및 데이터 기술력을 바탕으로 글로벌 시장의 주목을 받고 있습니다.



■ 합류하실 팀을 소개합니다.

• S2W의 Data 팀은 서피스 ​웹, ​딥 웹, ​다크 웹, SNS ​및 자산 ​스캔 ​결과를 수집하여 ​데이터 ​레이크에 ​저장하고, 이를 처리하는 ​고도화된 ​데이터 분석기를 개발 ​및 ​운영하는 ​조직입니다. 웹 파트, ​비웹 파트, ​시스템 ​운영 및 ​자동화 파트로 ​구성되어 ​있으며, 2~13년 이상의 ​경력을 가진 ​열정적인 개발자들이 협업하고 있습니다.
• 팀은 지난 5년 간 데이터 수집, 분석, 파이프라인을 고도화 해왔으며, 수집된 데이터는 양적·질적으로 업계 최고 수준입니다. 또한 운영 효율성을 극대화하기 위해 자동화 및 프레임워크화를 지속적으로 추진하고 있습니다.
• 웹 파트는 대규모 데이터를 안정적이고 빠르게 탐색 및 저장할 수 있는 수집기를 개발·운영하며, 봇 탐지 및 차단 우회 기술을 연구하고 적용합니다. 또한, 수집된 데이터의 품질을 보장하기 위한 QA 시스템과 의미 있는 데이터를 추출하는 분석기를 개발·운영합니다.
• 비웹 파트는 SNS, 파일 형태의 데이터, 고객사 자산 분석 결과 등을 수집하며, 이를 기반으로 인사이트를 도출하는 분석기를 개발·운영합니다. 필요 시 사내·외 데이터 제공 요청을 자동화하는 파이프라인 연구도 수행합니다.
• 시스템 운영 및 자동화 파트는 팀 내 쿠버네티스 환경, CI/CD, 제품 파이프라인 관리·자동화를 담당하며, 효율적인 시스템 운영을 위한 연구를 진행합니다.

주요업무

• 민감성 유출 정보 제품화 파이프라인 개발
• 민감성 유출 정보 수집기 개발
• 민감성 유출 정보 정형화 시스템 개발
• 데이터 제공 API 개발 및 제품 데이터 모니터링

자격요건

• Java, Python 프로그래밍 스킬
• 빅데이터 시스템을 이용한 데이터 분석 경험
• 빅데이터 프로파일링 경험
• 데이터 파이프라인에 대한 이해
• DBMS(RDB 또는 NoSQL)활용 개발 경험
• 다양한 종류의 파일 처리 경험

기술 스택 • 툴

태그

마감일

상시채용

근무지역

경기도 성남시 분당구 판교역로192번길 12, 3층 (삼평동, 판교미래에셋센터)
본 채용정보는 원티드랩의 동의없이 무단전재, 재배포, 재가공할 수 없으며, 구직활동 이외의 용도로 사용할 수 없습니다.

본 채용 정보는 에서 제공한 자료를 바탕으로 원티드랩에서 표현을 수정하고 이의 배열 및 구성을 편집하여 완성한 원티드랩의 저작자산이자 영업자산입니다. 본 정보 및 데이터베이스의 일부 내지는 전부에 대하여 원티드랩의 동의 없이 무단전재 또는 재배포, 재가공 및 크롤링할 수 없으며, 게재된 채용기업의 정보는 구직자의 구직활동 이외의 용도로 사용될 수 없습니다. 원티드랩은 에서 게재한 자료에 대한 오류나 그 밖에 원티드랩이 가공하지 않은 정보의 내용상 문제에 대하여 어떠한 보장도 하지 않으며, 사용자가 이를 신뢰하여 취한 조치에 대해 책임을 지지 않습니다.
<저작권자 (주)원티드랩. 무단전재-재배포금지>