포지션 상세
비큐AI는 1998년 설립하여 현재까지 국내 3,000여 언론 파트너사와 비즈니스를 하고 있는 빅테이터 미디어 플랫폼 기업으로 글로벌 미디어 오픈 플랫폼을 지향하는 기업으로 성장하고 있습니다. 전 세계 언론 미디어 플랫폼 시장은 방대한 규모를 형성하고 있으나 아직 국내외 언론 미디어 플랫폼 시장은 언론 콘텐츠의 특성으로 인해 한계를 가지고 있습니다.
비큐AI는 언론 미디어 기반의 새로운 오픈 플랫폼을 성공시켜 세상이 더욱 깨끗해질 수 있는 거대한 미디어 생태계를 만드는 일을 하기 위해 훌륭한 인재들을 채용하고 있습니다.
*MISSION - 미디어 빅데이터 & AI플랫폼을 통한 데이터의 새로운 가치 창출
*새롭게 합류할 분을 기다립니다.
#AI_100대 유망기업 #인공지능 #미디어_빅데이터 #AI_surfer #WIGO #WIGO_bot #코스닥상장사
• 정적/동적 웹사이트 데이터 수집 로직 구현
• 대량 수집 환경에서의 차단 우회 및 안정성 개선
• 수집 데이터 정제 및 DB 적재 자동화
• 사이트 구조 변경 대응 및 크롤러 유지관리
• 모니터링 및 로그 분석 후 대응
• 데이터 수집 분산 시스템 구성
[기술 스텍]
1. Python 기반 웹 스크래핑 및 API(FastAPI)연동
HTML / CSS / DOM 구조 이해, ProxyIP 구조 이해
Xml, API , RSS 수집, 정제, 저장 구현
2. 데이터 저장
MySQL / PostgreSQL / MongoDB
로그 분석 : ELK
비큐AI는 언론 미디어 기반의 새로운 오픈 플랫폼을 성공시켜 세상이 더욱 깨끗해질 수 있는 거대한 미디어 생태계를 만드는 일을 하기 위해 훌륭한 인재들을 채용하고 있습니다.
*MISSION - 미디어 빅데이터 & AI플랫폼을 통한 데이터의 새로운 가치 창출
*새롭게 합류할 분을 기다립니다.
#AI_100대 유망기업 #인공지능 #미디어_빅데이터 #AI_surfer #WIGO #WIGO_bot #코스닥상장사
주요업무
1. 웹 크롤러 및 스크래퍼 설계, 개발 및 유지보수• 정적/동적 웹사이트 데이터 수집 로직 구현
• 대량 수집 환경에서의 차단 우회 및 안정성 개선
• 수집 데이터 정제 및 DB 적재 자동화
• 사이트 구조 변경 대응 및 크롤러 유지관리
• 모니터링 및 로그 분석 후 대응
• 데이터 수집 분산 시스템 구성
자격요건
•3 ~ 7년 이상의 백엔드 개발 관련 경험이 있으신 분[기술 스텍]
1. Python 기반 웹 스크래핑 및 API(FastAPI)연동
HTML / CSS / DOM 구조 이해, ProxyIP 구조 이해
Xml, API , RSS 수집, 정제, 저장 구현
2. 데이터 저장
MySQL / PostgreSQL / MongoDB
로그 분석 : ELK
