![업스테이지-[독파모] AIRE - LLM Evaluation & Analysis](https://image.wanted.co.kr/optimize?src=https%3A%2F%2Fstatic.wanted.co.kr%2Fimages%2Fcompany%2F16049%2Fkye6pprbfw3f2ir6__1080_790.png&w=700&q=100)
포지션 상세
업스테이지는 AI 기술을 활용하여 비즈니스 문제 해결에 주력하는 기업으로, "Making AI Beneficial"이라는 비전과 "Artificial General Intelligence (AGI) for Work"라는 미션을 기반으로 운영됩니다. 단순한 업무 자동화를 넘어, 복잡한 의사결정 지원 및 비용 절감을 통해 기업의 생산성을 혁신적으로 향상시키는 AI 솔루션 개발에 집중하고 있습니다.
이러한 비전 실현을 위해 업스테이지는 AGI의 핵심 기반 기술인 LLM(Large Language Model) 모델을 지속적으로 발전시키고 있습니다. 기술 경쟁력 강화를 위해 Global Frontier에서 추적하는 벤치마크 지표를 통하여 모델 성능을 진단 및 개선하며, 동시에 고객사의 실제 니즈를 반영한 Workspace Benchmark Set을 구축해 모델의 실용성과 성능을 극대화에 활용하고 있습니다. 이를 통해 업스테이지는 산업 현장의 복잡한 문제를 해결하는 동시에 글로벌 수준의 기술 표준을 선도하기 위해 노력하고 있습니다.
LLM 평가는 단순히 모델의 성능을 측정하는 것을 넘어, 모델의 강점과 한계를 정확하게 진단하고 다음 세대 모델이 갖춰야 할 능력과 발전 방향을 제시하는 역할을 합니다. LLM Evaluation & Analysis 팀은 Solar와 글로벌 프론티어 모델을 다양한 관점에서 비교·분석하고, 평가 과정에서 얻은 인사이트를 모델 개발팀과 공유하여 데이터와 학습 방법을 비롯한 모델의 기술적 개선 방향을 결정하는 데 기여합니다.
이를 위해 지식·추론 능력, 인간 선호도 정렬(Human Preference Alignment), 다양한 Agent 활용 시나리오에서의 성능을 평가하기 위한 벤치마크와 평가 툴킷을 연구·개발합니다. 특히 Agent 성능 평가는 검색, 과학·연구, 코드 작성 및 개발 지원, 실제 업무 수행 등 AI가 활용되는 다양한 환경을 대상으로 하며, 모델이 주어진 환경에서 얼마나 효과적으로 문제를 해결할 수 있는지를 평가합니다.
또한 기존 벤치마크를 활용하는 데 그치지 않고, 다국어(한국어, 일본어 포함) 평가에서의 언어 편향성, 문화·언어 이해도와 인간 선호도 측정 방식, 기존 평가 방법론의 신뢰성과 한계 등을 지속적으로 분석합니다. 빠르게 발전하는 LLM의 능력과 활용 범위를 보다 정확하게 평가하기 위해 기존 평가 방식의 한계를 분석하고, 새로운 벤치마크와 평가 방법론을 연구·개발합니다. 필요한 경우 이를 위한 평가 데이터를 구축하고 개선하는 작업도 함께 수행합니다.
LLM 평가 연구뿐만 아니라, 대규모 벤치마크를 안정적으로 실행하기 위한 평가 플랫폼과 인프라를 함께 설계하고 고도화합니다. 평가 및 분석 자동화, 분산 환경에서의 평가 파이프라인 구축, 결과 수집 및 분석 시스템 개선 등을 수행하며, 문제를 정의하고 가설을 세우는 것부터 실제 모델을 대상으로 실험하고 결과를 분석해 다음 모델의 개발 방향으로 연결하는 Research Engineering의 전체 과정을 경험할 수 있습니다.
- Agent evaluation framework development
- Solar safety benchmark development
- Solar edge-case benchmark development
- Complex structured text generation benchmark development
** 기술의 흐름과 상황에 따라서 개발하는 프로젝트는 변화하며, 프로젝트는 각 시점에 LLM 모델 발전에 가장 영향력있는 기술 요소에 집중합니다.
• 또는 ML/NLP 관련 주제로 국제 학회에 논문을 게재한 경험이 있으신 분 (제1저자 또는 교신저자)
이러한 비전 실현을 위해 업스테이지는 AGI의 핵심 기반 기술인 LLM(Large Language Model) 모델을 지속적으로 발전시키고 있습니다. 기술 경쟁력 강화를 위해 Global Frontier에서 추적하는 벤치마크 지표를 통하여 모델 성능을 진단 및 개선하며, 동시에 고객사의 실제 니즈를 반영한 Workspace Benchmark Set을 구축해 모델의 실용성과 성능을 극대화에 활용하고 있습니다. 이를 통해 업스테이지는 산업 현장의 복잡한 문제를 해결하는 동시에 글로벌 수준의 기술 표준을 선도하기 위해 노력하고 있습니다.
LLM 평가는 단순히 모델의 성능을 측정하는 것을 넘어, 모델의 강점과 한계를 정확하게 진단하고 다음 세대 모델이 갖춰야 할 능력과 발전 방향을 제시하는 역할을 합니다. LLM Evaluation & Analysis 팀은 Solar와 글로벌 프론티어 모델을 다양한 관점에서 비교·분석하고, 평가 과정에서 얻은 인사이트를 모델 개발팀과 공유하여 데이터와 학습 방법을 비롯한 모델의 기술적 개선 방향을 결정하는 데 기여합니다.
이를 위해 지식·추론 능력, 인간 선호도 정렬(Human Preference Alignment), 다양한 Agent 활용 시나리오에서의 성능을 평가하기 위한 벤치마크와 평가 툴킷을 연구·개발합니다. 특히 Agent 성능 평가는 검색, 과학·연구, 코드 작성 및 개발 지원, 실제 업무 수행 등 AI가 활용되는 다양한 환경을 대상으로 하며, 모델이 주어진 환경에서 얼마나 효과적으로 문제를 해결할 수 있는지를 평가합니다.
또한 기존 벤치마크를 활용하는 데 그치지 않고, 다국어(한국어, 일본어 포함) 평가에서의 언어 편향성, 문화·언어 이해도와 인간 선호도 측정 방식, 기존 평가 방법론의 신뢰성과 한계 등을 지속적으로 분석합니다. 빠르게 발전하는 LLM의 능력과 활용 범위를 보다 정확하게 평가하기 위해 기존 평가 방식의 한계를 분석하고, 새로운 벤치마크와 평가 방법론을 연구·개발합니다. 필요한 경우 이를 위한 평가 데이터를 구축하고 개선하는 작업도 함께 수행합니다.
LLM 평가 연구뿐만 아니라, 대규모 벤치마크를 안정적으로 실행하기 위한 평가 플랫폼과 인프라를 함께 설계하고 고도화합니다. 평가 및 분석 자동화, 분산 환경에서의 평가 파이프라인 구축, 결과 수집 및 분석 시스템 개선 등을 수행하며, 문제를 정의하고 가설을 세우는 것부터 실제 모델을 대상으로 실험하고 결과를 분석해 다음 모델의 개발 방향으로 연결하는 Research Engineering의 전체 과정을 경험할 수 있습니다.
주요업무
- Automatic quality assessment system development- Agent evaluation framework development
- Solar safety benchmark development
- Solar edge-case benchmark development
- Complex structured text generation benchmark development
** 기술의 흐름과 상황에 따라서 개발하는 프로젝트는 변화하며, 프로젝트는 각 시점에 LLM 모델 발전에 가장 영향력있는 기술 요소에 집중합니다.
자격요건
• AI 모델 평가 및 분석과 관련된 주제로 국제 학회에 논문을 게재한 경험이 있으신 분 (공저자 포함)• 또는 ML/NLP 관련 주제로 국제 학회에 논문을 게재한 경험이 있으신 분 (제1저자 또는 교신저자)
