포지션 상세
Thesen AI는 AI가 중심이 되는 엔터프라이즈 소프트웨어 개발 자동화 플랫폼입니다. 아이디어 기획부터 설계, 배포, 유지보수까지 모든 과정을 전문화된 AI 에이전트들이 협력해 자동화합니다. 기존 개발 방식보다 더 빠르고, 저렴하며, 신뢰도 높은 소프트웨어를 구축할 수 있습니다.
노코드/로우코드와 달리 Thesen은 생산 환경에 바로 적용 가능한 고품질 코드와 자동 유지관리 기능을 제공하여, 엔터프라이즈 기술 경쟁력을 높입니다.
AI Evaluation Engineer 직무 소개
소프트웨어 개발 자동화를 위한 전문 AI 에이전트들의 지시문과 컨텍스트를 최적화하고, 체계적인 평가 시스템을 통해 모델 성능을 지속적으로 개선합니다. LLM 기반 에이전트들의 A/B 테스트와 프롬프트 튜닝을 통해 기획부터 배포까지 전 개발 과정의 AI 자동화 품질을 향상시키는 핵심 역할을 담당합니다.
• 에이전트별로 다양한 모델, 지시문, 컨텍스트를 벤치마킹할 수 있는 AI 평가 체계 설계 및 운영
• 설계된 평가 시스템을 기반으로 모델 선택, A/B 테스트, 프롬프트 튜닝 전략 수립
• 고도화된 LLM 기반 Agent 성능 개선 및 반복 실험
• pandas 또는 Polars를 활용한 풍부한 데이터 분
• LLM 컨텍스트 구성, 샘플링 전략, 모델 편향 등에 대한 깊은 이해
• 프롬프트 최적화, RAG, 파인튜닝 등 고급 LLM 기술 경험
노코드/로우코드와 달리 Thesen은 생산 환경에 바로 적용 가능한 고품질 코드와 자동 유지관리 기능을 제공하여, 엔터프라이즈 기술 경쟁력을 높입니다.
AI Evaluation Engineer 직무 소개
소프트웨어 개발 자동화를 위한 전문 AI 에이전트들의 지시문과 컨텍스트를 최적화하고, 체계적인 평가 시스템을 통해 모델 성능을 지속적으로 개선합니다. LLM 기반 에이전트들의 A/B 테스트와 프롬프트 튜닝을 통해 기획부터 배포까지 전 개발 과정의 AI 자동화 품질을 향상시키는 핵심 역할을 담당합니다.
주요업무
• 소프트웨어 개발 각 단계에 특화된 다양한 AI 에이전트의 Instruction / Context 최적화• 에이전트별로 다양한 모델, 지시문, 컨텍스트를 벤치마킹할 수 있는 AI 평가 체계 설계 및 운영
• 설계된 평가 시스템을 기반으로 모델 선택, A/B 테스트, 프롬프트 튜닝 전략 수립
• 고도화된 LLM 기반 Agent 성능 개선 및 반복 실험
자격요건
• 타입 힌트 및 테스트를 포함한 고급 수준의 Python 개발 역량• pandas 또는 Polars를 활용한 풍부한 데이터 분
• LLM 컨텍스트 구성, 샘플링 전략, 모델 편향 등에 대한 깊은 이해
• 프롬프트 최적화, RAG, 파인튜닝 등 고급 LLM 기술 경험
