포지션 상세
CollabOps는 ㈜에이티씨아이에서 스핀오프한 기술 스타트업입니다. Google·Salesforce 출신 대표가 설립했으며, Seed 투자와 TIPS 선정·협약을 완료했습니다.
소프트웨어를 개발하고 운영하는 팀은 흩어진 코드, 이슈, 테스트, 배포 기록을 확인하며 문제의 원인을 찾고 수정 결과를 검증합니다. CollabOps는 이 과정을 수행하는 AI 모델과 에이전트를 연구·개발합니다.
사용자의 요청을 실행 가능한 변경으로 만들고, 실패 원인을 조사하며, 수정 결과를 검증하는 경험을 함께 만들 AI Research Engineer를 찾습니다.
재현 가능한 과제 제작: 버그 수정 사례를 컨테이너에서 재현하고, 문제 상태·입력·검증 기준을 갖춘 학습·평가 과제로 만듭니다.
개발·운영 시나리오 구현: 플랫폼 엔지니어와 함께 의존성 충돌, 잘못된 설정, 배포 실패 등의 시나리오를 만들고 에이전트의 해결 결과를 평가합니다.
에이전트 실행 데이터 생성: 코드 조회, 로그 분석, 도구 호출, 수정, 테스트로 이어지는 실행 기록을 수집하고, 성공·실패 원인을 분석해 학습 데이터로 구성합니다.
모델 학습 및 개선: 공개 모델을 활용한 SFT와 LoRA·QLoRA 실험을 수행하고, 필요에 따라 선호 학습과 실행 결과 기반 강화학습을 연구합니다.
평가 체계 구축: 작업 해결률, 회귀 발생, 근거의 정확성, 사람 개입, 지연 시간과 비용을 측정하고, 분리된 평가 과제로 기존 모델과 학습 모델을 비교합니다.
모델·에이전트 공동 최적화: 문맥 구성, 검색, 도구 사용, 실패 복구 전략을 개선하고 어떤 변경이 성능에 기여했는지 실험으로 확인합니다.
제품 적용: 백엔드·플랫폼 엔지니어와 협업해 모델을 서빙하고, 온프레미스 환경의 자원 제약과 사용자 피드백을 연구에 반영합니다.
PyTorch 등 머신러닝 프레임워크를 활용해 모델을 학습하거나 파인튜닝한 경험이 있는 분
LLM, 지도학습, 학습·검증 데이터 분리와 기본적인 평가 방법을 이해하는 분
Git, Linux, Docker와 소프트웨어 테스트·디버깅에 대한 기본기를 갖춘 분
문제를 가설·실험·지표로 구체화하고, 결과를 재현 가능한 코드와 문서로 설명할 수 있는 분
제품·백엔드·플랫폼 엔지니어와 협업하며 연구 결과를 사용 가능한 기능으로 연결할 수 있는 분
소프트웨어를 개발하고 운영하는 팀은 흩어진 코드, 이슈, 테스트, 배포 기록을 확인하며 문제의 원인을 찾고 수정 결과를 검증합니다. CollabOps는 이 과정을 수행하는 AI 모델과 에이전트를 연구·개발합니다.
사용자의 요청을 실행 가능한 변경으로 만들고, 실패 원인을 조사하며, 수정 결과를 검증하는 경험을 함께 만들 AI Research Engineer를 찾습니다.
주요업무
학습·평가 데이터 구축: GitHub 공개 저장소의 이슈, PR, 변경 전후 코드, 테스트, CI 설정과 확보 가능한 실행 로그를 수집·연결하고, 출처·이용 범위·품질·중복을 관리합니다.재현 가능한 과제 제작: 버그 수정 사례를 컨테이너에서 재현하고, 문제 상태·입력·검증 기준을 갖춘 학습·평가 과제로 만듭니다.
개발·운영 시나리오 구현: 플랫폼 엔지니어와 함께 의존성 충돌, 잘못된 설정, 배포 실패 등의 시나리오를 만들고 에이전트의 해결 결과를 평가합니다.
에이전트 실행 데이터 생성: 코드 조회, 로그 분석, 도구 호출, 수정, 테스트로 이어지는 실행 기록을 수집하고, 성공·실패 원인을 분석해 학습 데이터로 구성합니다.
모델 학습 및 개선: 공개 모델을 활용한 SFT와 LoRA·QLoRA 실험을 수행하고, 필요에 따라 선호 학습과 실행 결과 기반 강화학습을 연구합니다.
평가 체계 구축: 작업 해결률, 회귀 발생, 근거의 정확성, 사람 개입, 지연 시간과 비용을 측정하고, 분리된 평가 과제로 기존 모델과 학습 모델을 비교합니다.
모델·에이전트 공동 최적화: 문맥 구성, 검색, 도구 사용, 실패 복구 전략을 개선하고 어떤 변경이 성능에 기여했는지 실험으로 확인합니다.
제품 적용: 백엔드·플랫폼 엔지니어와 협업해 모델을 서빙하고, 온프레미스 환경의 자원 제약과 사용자 피드백을 연구에 반영합니다.
자격요건
Python으로 데이터 처리, 실험 자동화, 모델 학습·평가 코드를 작성할 수 있는 분PyTorch 등 머신러닝 프레임워크를 활용해 모델을 학습하거나 파인튜닝한 경험이 있는 분
LLM, 지도학습, 학습·검증 데이터 분리와 기본적인 평가 방법을 이해하는 분
Git, Linux, Docker와 소프트웨어 테스트·디버깅에 대한 기본기를 갖춘 분
문제를 가설·실험·지표로 구체화하고, 결과를 재현 가능한 코드와 문서로 설명할 수 있는 분
제품·백엔드·플랫폼 엔지니어와 협업하며 연구 결과를 사용 가능한 기능으로 연결할 수 있는 분
