AI를 다룬다 : AI, 특성을 고려한 프로덕트 협업 방식
글ㅣ이승헌 뤼이드 프로덕트 매니저
AI를 다룬다 : AI, 특성을 고려한 프로덕트 협업 방식
일자
상시
유형
아티클태그
이 아티클은 <AI를 다룬다> 시리즈의 2화입니다.
✍ 오늘의 아티클
✍ 오늘의 아티클
- 프로덕트 매니저는 의도한 대로 제품을 만들기 위해서, 소재(기술)가 가진 특성과 다루는 방식을 잘 이해해야 합니다.
- 모든 산업의 영역에서 AI 기술은 획기적인 소재이자 기회입니다. 하지만 소재를 다루는 방법을 잘 이해하지 못한 상태에서 활용한다면, 의도하지 않았던 에러 등으로 인해 비즈니스 상의 리스크를 겪게 될 수 있습니다.
- AI라는 소재를 가지고 지속 가능한 방식으로 고객의 문제를 해결하는 제품을 만들기 위해, 프로덕트 매니저가 고려해야 할 협업 방식, 제품 개발 프로세스 등에 대해서 소개합니다.
“나무든 돌이든 소재를 다루는 양식이 중요하다. 앞으로는 건축가든 디자이너든 소재를 어떻게 다룰지에 대해서 좀 더 신중해야 할 것이다. 그저 단순히 돌을 쌓고 싶어 하는 것이 아니라, 왜 돌을 쌓지 않으면 안 되는지를 생각해야 하는 것이다.”
제주도에 위치한 유동룡 박물관에서 마주했던, 프로덕트 매니저의 일에 큰 영감을 준 말입니다. 이는 건축가가 지역의 풍토, 이용자의 맥락 등에 맞는 조형을 이뤄내기 위해서, 건축의 재료가 될 돌, 나무, 흙 등의 특성을 누구보다 잘 이해해야 한다는 의미입니다. 각 소재는 저마다의 특성을 가지고 있기 때문에 조화롭게 조형해 내지 못한다면, 균형이 맞지 않거나 주변과 어우러지지 않는 건축을 양산하게 됩니다. 실력 있는 건축가는 소재를 다루는 자신만의 방식을 터득하고, 특정 소재를 통해서 표현하고자 하는 ‘느낌’을 석공과 이야기하며 의도한 대로 균형 있게 건축물을 완성해 나갑니다.
다양한 기술을 활용해 디지털 프로덕트를 만드는 일도 건축에서와 같이 소재가 가진 특성을 이해하는 것이 중요합니다. 특히 AI라는 기술은 큰 가치를 창출할 수 있는 잠재력을 가짐과 동시에, 의도하지 않았던 아웃풋을 생성하거나 부정확한 예측으로 인해 비즈니스 상의 리스크를 야기할 수 있기 때문에 좀 더 많은 주의가 요구됩니다. 소재(기술)가 갖고 있는 특징과 이를 적절히 다루는 방법을 사전에 인지하고 있을 때, 리스크를 방지하며 의도한 대로 제품을 실현할 수 있습니다. AI라는 소재를 다루며 경험했던 시행착오와 배운 점을 이 글을 통해 공유하고자 합니다.
제주도에 위치한 유동룡 박물관에서 마주했던, 프로덕트 매니저의 일에 큰 영감을 준 말입니다. 이는 건축가가 지역의 풍토, 이용자의 맥락 등에 맞는 조형을 이뤄내기 위해서, 건축의 재료가 될 돌, 나무, 흙 등의 특성을 누구보다 잘 이해해야 한다는 의미입니다. 각 소재는 저마다의 특성을 가지고 있기 때문에 조화롭게 조형해 내지 못한다면, 균형이 맞지 않거나 주변과 어우러지지 않는 건축을 양산하게 됩니다. 실력 있는 건축가는 소재를 다루는 자신만의 방식을 터득하고, 특정 소재를 통해서 표현하고자 하는 ‘느낌’을 석공과 이야기하며 의도한 대로 균형 있게 건축물을 완성해 나갑니다.
다양한 기술을 활용해 디지털 프로덕트를 만드는 일도 건축에서와 같이 소재가 가진 특성을 이해하는 것이 중요합니다. 특히 AI라는 기술은 큰 가치를 창출할 수 있는 잠재력을 가짐과 동시에, 의도하지 않았던 아웃풋을 생성하거나 부정확한 예측으로 인해 비즈니스 상의 리스크를 야기할 수 있기 때문에 좀 더 많은 주의가 요구됩니다. 소재(기술)가 갖고 있는 특징과 이를 적절히 다루는 방법을 사전에 인지하고 있을 때, 리스크를 방지하며 의도한 대로 제품을 실현할 수 있습니다. AI라는 소재를 다루며 경험했던 시행착오와 배운 점을 이 글을 통해 공유하고자 합니다.
AI, 소재의 특성을 이해하는 것의 중요성
생성형 AI가 등장한 이후 추천, 예측의 영역을 넘어 자연어 맥락 추론, 연속적인 대화, 콘텐츠 생성 영역까지 AI의 역량 범위가 빠르게 확대되면서, 이전에는 불가능했던 경험들이 가능해지고 있습니다. 제가 속해있는 교육 도메인에서는 예전부터 많은 사람이 꿈꿔왔던 개인용 튜터가 실현될 것이라는 기대감이 지배적입니다. 이를 본격적으로 실현시키기 위해 듀오링고, 칸 아카데미와 같은 온라인 교육 플랫폼은 발 빠르게 GPT-4 기반의 대화형 코치 기능을 기존 제품에 통합했습니다[1]. 기존의 인터페이스보다 신속하고, 자연스러운 튜터링 경험을 제공하는 AI 챗봇을 통해 플랫폼의 경쟁력을 강화하겠다는 취지입니다. 분야를 막론하고 생성형 AI가 제공할 수 있는 높은 사용성과 접근성, 확장성을 무기 삼아 제품의 경쟁력을 높이고자 하는 기업의 수는 크게 늘어나고 있습니다.
1962년 뉴욕 타임스에 나온 Teaching Machine에 대한 기사, 그리고 생성형 AI를 통해 현실화된 칸 아카데미의 대화형 AI 튜터, Khanmigo
시장의 요구에 따라 AI를 다루는 프로덕트 매니저의 관점과 제품 팀의 실행력은 더욱 높아져야 합니다. 하지만, 아직까지 기업 내에서 AI 기반 제품에 대해 숙련된 경험과 운영 역량을 갖추고 있는 경우는 많지 않습니다. 이로 인해 대다수의 AI 프로젝트는 의도대로 제품을 산출해 내는 것에 실패한다고 합니다[2]. AI 기술은 일반적인 소프트웨어와는 구별되는 특성을 가지고 있습니다. 데이터의 양과 질에 따라 모델의 성능이 결정되기도 하고, 목표한 성능을 확보할 때까지 불확실하고 반복적인 컨셉 검증(POC; Proof Of Concept) 과정이 요구되기도 합니다. 또한 초기에 모델의 성능을 확보했다고 하더라도 시간이나 적용 환경이 변화함에 따라 성능이 떨어질 수 있기 때문에 지속적으로 모니터링 및 재학습 과정을 거쳐 기술을 진화시켜 나가야 합니다. 이와 같이 소재를 다루는 방법을 제대로 이해하지 못한 채 AI 제품화를 진행할 경우, 아래와 같은 문제가 발생할 가능성이 높습니다.
시장의 요구에 따라 AI를 다루는 프로덕트 매니저의 관점과 제품 팀의 실행력은 더욱 높아져야 합니다. 하지만, 아직까지 기업 내에서 AI 기반 제품에 대해 숙련된 경험과 운영 역량을 갖추고 있는 경우는 많지 않습니다. 이로 인해 대다수의 AI 프로젝트는 의도대로 제품을 산출해 내는 것에 실패한다고 합니다[2]. AI 기술은 일반적인 소프트웨어와는 구별되는 특성을 가지고 있습니다. 데이터의 양과 질에 따라 모델의 성능이 결정되기도 하고, 목표한 성능을 확보할 때까지 불확실하고 반복적인 컨셉 검증(POC; Proof Of Concept) 과정이 요구되기도 합니다. 또한 초기에 모델의 성능을 확보했다고 하더라도 시간이나 적용 환경이 변화함에 따라 성능이 떨어질 수 있기 때문에 지속적으로 모니터링 및 재학습 과정을 거쳐 기술을 진화시켜 나가야 합니다. 이와 같이 소재를 다루는 방법을 제대로 이해하지 못한 채 AI 제품화를 진행할 경우, 아래와 같은 문제가 발생할 가능성이 높습니다.
AI 제품화 과정에서 발생할 수 있는 목표와 운영 상의 문제
제품의 성공 여부는 (1) 목표를 잘 설정했는가 (2) 목표를 잘 달성할 수 있는 역량과 환경을 갖추고 있는가에 달려있습니다. 위와 같은 문제를 사전에 인지하고 적절한 역할과 협업 방식, 규칙 등을 포함한 프로세스로 녹여낼 수 있을 때, AI 제품의 성공에 가까워질 수 있습니다.
비즈니스 목표에 기반한 AI 목표 설정과 협업 방식
1. 경영진, 실무진이 모두 공감하고 실행할 수 있는 AI 제품 개발 목표와 전략 수립
우선, 비즈니스 목표에 강하게 얼라인된 AI 제품을 구성하기 위해서, 상위 의사결정자, AI 리서치 팀, 제품 팀이 동일한 목표에 집중하고 일관적인 언어로 소통할 수 있는 환경을 만들어야 합니다. 선행적인 기업의 사례들을 보면, 성공적으로 AI 제품을 개발하기 위해서 기술에 대한 전사적인 인식 개선과 이니셔티브 설정의 중요성을 강조합니다. 쉽게 풀어 말하면, 상위 전략 단계부터 AI 기술을 통해 얻고자 하는 비즈니스 목표와 기술의 역할, 배포 규칙에 대해서 함께 정의하고, 배포 순간까지 일관적으로 적용해야 한다는 것입니다.
제품의 성공 여부는 (1) 목표를 잘 설정했는가 (2) 목표를 잘 달성할 수 있는 역량과 환경을 갖추고 있는가에 달려있습니다. 위와 같은 문제를 사전에 인지하고 적절한 역할과 협업 방식, 규칙 등을 포함한 프로세스로 녹여낼 수 있을 때, AI 제품의 성공에 가까워질 수 있습니다.
비즈니스 목표에 기반한 AI 목표 설정과 협업 방식
1. 경영진, 실무진이 모두 공감하고 실행할 수 있는 AI 제품 개발 목표와 전략 수립
우선, 비즈니스 목표에 강하게 얼라인된 AI 제품을 구성하기 위해서, 상위 의사결정자, AI 리서치 팀, 제품 팀이 동일한 목표에 집중하고 일관적인 언어로 소통할 수 있는 환경을 만들어야 합니다. 선행적인 기업의 사례들을 보면, 성공적으로 AI 제품을 개발하기 위해서 기술에 대한 전사적인 인식 개선과 이니셔티브 설정의 중요성을 강조합니다. 쉽게 풀어 말하면, 상위 전략 단계부터 AI 기술을 통해 얻고자 하는 비즈니스 목표와 기술의 역할, 배포 규칙에 대해서 함께 정의하고, 배포 순간까지 일관적으로 적용해야 한다는 것입니다.
2023년 초, Riiid 사내에서 AI 목표 설정과 협업 방식을 맞춰보기 위해 진행했던 프롬프톤(Prompthon)
이러한 고민의 일환으로 ChatGPT가 처음 나왔을 때, 선행적인 AI 연구와 제품화 작업의 목적, 호흡을 맞추기 위해 사내에서 ‘프롬프톤(Prompthon)’ 이라는 행사를 기획했던 적이 있습니다. ‘프롬프트(Prompt)’를 통해 AI 모델이 할 수 있는 일들을 기술에 대한 이해가 부족한 구성원들도 쉽게 체감해 보고, 프로덕트 팀과 AI 리서치 팀이 서로의 관점과 생각을 느껴보는 자리였습니다. 단순히 AI 기술 자체가 아닌 AI 제품을 실현하는 데에 걸림돌이 될 수 있는 여러 절차적인 문제를 따져보며 팀이 가진 문제들을 조망해 보기도 했습니다. AI 제품은 AI, Mobile 기술 등 서로 다른 특성과 개발 호흡을 가진 소재가 결합된 결과이기 때문에, 하나의 목표 아래 이를 정렬하기 위해서는 일반적인 소프트웨어에 비해 제품의 비전과 형상을 좀 더 장기적으로 계획해야 한다는 점을 깨달았습니다.
*AI 제품의 목표 설정에서 고려해야 할 점 : 일반적인 제품을 구성할 때보다 제품의 비전과 형상을 좀 더 장기적으로 계획하여, AI 기술의 목표와 개발 호흡을 맞추기
2. 프로덕트 팀 & AI 리서치 팀 각자의 강점을 살린 제품 구성과 역할 설정
프롬프톤을 시작으로 LLM 기반의 제품화를 진행하며 함께 합을 맞췄지만, 한동안 쉽사리 맞춰지지 않는 무언가가 있었습니다. 프로덕트 팀은 특정 도메인/제품에 특화된 방식으로 AI 모델을 서빙하여 제품의 가치를 극대화하고자 하고, AI 리서치 팀은 다른 도메인/제품에도 널리 적용될 수 있을 정도로 확장성 있는 AI 모델을 연구하여 기술의 가치를 높이고자 합니다. 처음엔 제품의 목표를 우선시하여 AI 리서치 팀에게 제품의 목표를 강요하기도 했습니다. 하지만 집약적인 리소스가 들어가야 하는 연구 개발 영역에 있어서 기술의 확장성을 고려하지 않는다면, 기업의 기술적 자산의 가치는 떨어지고 제품에 AI 기능을 도입하는 것이 비용 효율적이지 않을 수 있습니다. 비유하자면, 특정 건축물에만 쓰일 소재를 특수 제작하거나, 특정 완성차에만 쓰일 부품을 만드는 것과 같습니다. 서로 다른 두 목표를 균형 있게 유지하며, 제품에 AI 기능을 빠르게 통합하기 위한 방법을 아래와 같이 3가지로 적용했습니다.
방법 1. AI 기술이 해결할 수 있는 여러 문제 중에서도 비즈니스 임팩트가 큰 영역에 리소스를 집중하기
방법 2. 라이프 사이클 단계별 서로 다른 역할을 가진 팀으로 나누어, 선행 연구 개발 팀은 확장성 있는 기술을 개발한 뒤, 응용 연구 팀에서 제품에 맞게 별도로 파인튜닝 하기
방법 3. 상대적으로 비즈니스 임팩트가 낮거나, 단기간에 기술 경쟁력을 갖추기 어려운 영역에서는 적절히 AI 기술 벤더 사의 상용 모델을 레버리지하여 제품을 구성하기
3. 진화하는 AI 기술을 위한 사용자 경험 설계
사용자 피드백을 반영하여 모델의 행동 조정 및 재학습시키기
AI 제품의 프로덕트 매니저는 제품 출시 이후 AI 모델의 순환 관계를 잘 이해하고, 기술의 역량을 확장시키는 데에도 중요한 연결다리 역할을 해야 합니다. 지난 2023년 10월에 있었던 Open AI Devday 의 Reseach x Product 세션에서는 AI 기술도 하나의 프로덕트로 인식하고 리서치 팀과 제품 팀이 협업한 사례가 주목받았습니다[3]. 이 사례에서는 기술이 더 많은 이용 시나리오와 인터랙션을 포괄할 수 있도록 데이터에 기반한 사용자 인사이트를 지속적으로 AI 리서치 팀에게 전달하고 모델의 행동을 트레이닝하는 것을 프로덕트 팀의 중요한 역할로 삼았습니다.
예를 들어, 모르는 문제에 대해서 질문을 하는 Q&A 챗봇을 처음 런칭했다고 했을 때, 사용자가 제품의 인터랙션 방식에 불편을 느껴 이탈하는 경우가 있을 수도 있고, 초기 기획 의도와 다른 요청을 할 때도 있습니다. 프로덕트 매니저는 사용자 데이터에 대한 세밀한 관찰력과 분석을 통해, 추가 인사이트를 AI 리서치 팀에 전달하고 개선 방향을 함께 계획하게 됩니다.
이러한 고민의 일환으로 ChatGPT가 처음 나왔을 때, 선행적인 AI 연구와 제품화 작업의 목적, 호흡을 맞추기 위해 사내에서 ‘프롬프톤(Prompthon)’ 이라는 행사를 기획했던 적이 있습니다. ‘프롬프트(Prompt)’를 통해 AI 모델이 할 수 있는 일들을 기술에 대한 이해가 부족한 구성원들도 쉽게 체감해 보고, 프로덕트 팀과 AI 리서치 팀이 서로의 관점과 생각을 느껴보는 자리였습니다. 단순히 AI 기술 자체가 아닌 AI 제품을 실현하는 데에 걸림돌이 될 수 있는 여러 절차적인 문제를 따져보며 팀이 가진 문제들을 조망해 보기도 했습니다. AI 제품은 AI, Mobile 기술 등 서로 다른 특성과 개발 호흡을 가진 소재가 결합된 결과이기 때문에, 하나의 목표 아래 이를 정렬하기 위해서는 일반적인 소프트웨어에 비해 제품의 비전과 형상을 좀 더 장기적으로 계획해야 한다는 점을 깨달았습니다.
*AI 제품의 목표 설정에서 고려해야 할 점 : 일반적인 제품을 구성할 때보다 제품의 비전과 형상을 좀 더 장기적으로 계획하여, AI 기술의 목표와 개발 호흡을 맞추기
2. 프로덕트 팀 & AI 리서치 팀 각자의 강점을 살린 제품 구성과 역할 설정
프롬프톤을 시작으로 LLM 기반의 제품화를 진행하며 함께 합을 맞췄지만, 한동안 쉽사리 맞춰지지 않는 무언가가 있었습니다. 프로덕트 팀은 특정 도메인/제품에 특화된 방식으로 AI 모델을 서빙하여 제품의 가치를 극대화하고자 하고, AI 리서치 팀은 다른 도메인/제품에도 널리 적용될 수 있을 정도로 확장성 있는 AI 모델을 연구하여 기술의 가치를 높이고자 합니다. 처음엔 제품의 목표를 우선시하여 AI 리서치 팀에게 제품의 목표를 강요하기도 했습니다. 하지만 집약적인 리소스가 들어가야 하는 연구 개발 영역에 있어서 기술의 확장성을 고려하지 않는다면, 기업의 기술적 자산의 가치는 떨어지고 제품에 AI 기능을 도입하는 것이 비용 효율적이지 않을 수 있습니다. 비유하자면, 특정 건축물에만 쓰일 소재를 특수 제작하거나, 특정 완성차에만 쓰일 부품을 만드는 것과 같습니다. 서로 다른 두 목표를 균형 있게 유지하며, 제품에 AI 기능을 빠르게 통합하기 위한 방법을 아래와 같이 3가지로 적용했습니다.
방법 1. AI 기술이 해결할 수 있는 여러 문제 중에서도 비즈니스 임팩트가 큰 영역에 리소스를 집중하기
방법 2. 라이프 사이클 단계별 서로 다른 역할을 가진 팀으로 나누어, 선행 연구 개발 팀은 확장성 있는 기술을 개발한 뒤, 응용 연구 팀에서 제품에 맞게 별도로 파인튜닝 하기
방법 3. 상대적으로 비즈니스 임팩트가 낮거나, 단기간에 기술 경쟁력을 갖추기 어려운 영역에서는 적절히 AI 기술 벤더 사의 상용 모델을 레버리지하여 제품을 구성하기
3. 진화하는 AI 기술을 위한 사용자 경험 설계
사용자 피드백을 반영하여 모델의 행동 조정 및 재학습시키기
AI 제품의 프로덕트 매니저는 제품 출시 이후 AI 모델의 순환 관계를 잘 이해하고, 기술의 역량을 확장시키는 데에도 중요한 연결다리 역할을 해야 합니다. 지난 2023년 10월에 있었던 Open AI Devday 의 Reseach x Product 세션에서는 AI 기술도 하나의 프로덕트로 인식하고 리서치 팀과 제품 팀이 협업한 사례가 주목받았습니다[3]. 이 사례에서는 기술이 더 많은 이용 시나리오와 인터랙션을 포괄할 수 있도록 데이터에 기반한 사용자 인사이트를 지속적으로 AI 리서치 팀에게 전달하고 모델의 행동을 트레이닝하는 것을 프로덕트 팀의 중요한 역할로 삼았습니다.
예를 들어, 모르는 문제에 대해서 질문을 하는 Q&A 챗봇을 처음 런칭했다고 했을 때, 사용자가 제품의 인터랙션 방식에 불편을 느껴 이탈하는 경우가 있을 수도 있고, 초기 기획 의도와 다른 요청을 할 때도 있습니다. 프로덕트 매니저는 사용자 데이터에 대한 세밀한 관찰력과 분석을 통해, 추가 인사이트를 AI 리서치 팀에 전달하고 개선 방향을 함께 계획하게 됩니다.
진화하는 AI 제품을 만들기 위한 순환적인 사이클
AI 기술의 불완전함을 보완하기 위한 UX 전략 구상하기
위의 방식 역시 시장에서 사용자 만족을 먼저 이뤄내고, 지속적으로 사용자 유입을 만드는 것부터가 시작입니다. 초기에 어느 정도 사용자의 만족을 이끌어낸 제품이어야, 사용자의 유입과 지속적인 사용이 일어나고, AI 모델을 위한 데이터가 축적되기 때문입니다. 선순환을 촉진시키기 위해서 모델 성격과 사용자의 행동을 동시에 이해하고, AI 모델과 사용자가 적절한 UX 전략을 설계하는 것 또한 중요합니다. 예를 들어, AI 모델은 때때로 부정확한 정보를 제공하거나 처리 속도가 느려져 사용자에게 불편을 줄 수 있습니다. 이 경우, 사용자에게 그 이유를 설명하거나, 대처 방안을 제시하는 등 불완전한 AI 모델을 보완하여 사용자 신뢰를 유지하는 UX를 선제적으로 제시해야 합니다. 또한 추가적인 데이터를 축적하기 위해, UX 설계 시 사용자의 피드백 행동을 유도할 수 있는 인터랙션도 함께 고려가 되어야 합니다.
UX 설계 포인트 1. 사용자가 제품에 적절한 신뢰를 형성할 수 있도록 AI 모델에 대한 사용자의 신뢰와 설명 가능성을 높이기
UX 설계 포인트 2. AI 에러 상황 발생 시 이유를 식별 및 진단하고, 사용자의 적절한 대처 방법을 안내하기
UX 설계 포인트 3. 사용자 피드백 및 제어 메커니즘을 통해 사용자 참여를 유도하고 데이터를 축적하기
신뢰할 수 있는 제품을 보장하는 AI 제품 개발 프로세스
1. AI 모델의 개발 라이프사이클을 반영한 제품 개발 프로세스
앞서 설명한 작업들을 일련의 워크플로우로 정렬할 수 있을 때 제품 팀의 실행력은 올라갑니다. AI 모델을 개발하는 과정은 AI 가치 범위 설정부터, 모델 개발, 모델 배포, 모니터링 및 추가 대응에 이르기까지 일반적인 소프트웨어 개발 과정보다 몇 차례 길고, 반복적인 과정이 요구됩니다. 이러한 작업들 사전에 정의된 프로세스를 통해 구성원 각각이 먼저 이해하고 숙련도를 높일 수 있다면, AI 모델의 오류로 인해 발생하는 리스크를 사전에 줄이고 신뢰할 수 있는 사용자 경험을 제공할 수 있습니다.
저는 여러 시행착오를 줄이고 구성원들이 전체적인 AI 제품 개발 과정과 각 단계별 역할에 대해서 이해할 수 있도록, PwC의 Responsible AI Toolkit [4] 을 참고해 개발 프로세스를 구성했습니다. 이 프로세스에서는 9단계의 모델 라이프 사이클 단계별, 실무적으로 고려해야 할 작업의 내용을 설명합니다. 주요 검증 단계별 기준을 제시하여, 모델의 성능 품질과 목표 관리를 용이하게 할 수 있다는 장점이 있습니다. 또한 기능을 배포하는 것 이상으로 AI 모델 발전에 필요한 절차를 제품 팀의 구성원(디자이너, 엔지니어 등)이 공감하고 이해할 수 있어, 더욱 생산적인 논의와 효율적인 개발을 촉진시킬 수 있습니다.
AI 기술의 불완전함을 보완하기 위한 UX 전략 구상하기
위의 방식 역시 시장에서 사용자 만족을 먼저 이뤄내고, 지속적으로 사용자 유입을 만드는 것부터가 시작입니다. 초기에 어느 정도 사용자의 만족을 이끌어낸 제품이어야, 사용자의 유입과 지속적인 사용이 일어나고, AI 모델을 위한 데이터가 축적되기 때문입니다. 선순환을 촉진시키기 위해서 모델 성격과 사용자의 행동을 동시에 이해하고, AI 모델과 사용자가 적절한 UX 전략을 설계하는 것 또한 중요합니다. 예를 들어, AI 모델은 때때로 부정확한 정보를 제공하거나 처리 속도가 느려져 사용자에게 불편을 줄 수 있습니다. 이 경우, 사용자에게 그 이유를 설명하거나, 대처 방안을 제시하는 등 불완전한 AI 모델을 보완하여 사용자 신뢰를 유지하는 UX를 선제적으로 제시해야 합니다. 또한 추가적인 데이터를 축적하기 위해, UX 설계 시 사용자의 피드백 행동을 유도할 수 있는 인터랙션도 함께 고려가 되어야 합니다.
UX 설계 포인트 1. 사용자가 제품에 적절한 신뢰를 형성할 수 있도록 AI 모델에 대한 사용자의 신뢰와 설명 가능성을 높이기
UX 설계 포인트 2. AI 에러 상황 발생 시 이유를 식별 및 진단하고, 사용자의 적절한 대처 방법을 안내하기
UX 설계 포인트 3. 사용자 피드백 및 제어 메커니즘을 통해 사용자 참여를 유도하고 데이터를 축적하기
신뢰할 수 있는 제품을 보장하는 AI 제품 개발 프로세스
1. AI 모델의 개발 라이프사이클을 반영한 제품 개발 프로세스
앞서 설명한 작업들을 일련의 워크플로우로 정렬할 수 있을 때 제품 팀의 실행력은 올라갑니다. AI 모델을 개발하는 과정은 AI 가치 범위 설정부터, 모델 개발, 모델 배포, 모니터링 및 추가 대응에 이르기까지 일반적인 소프트웨어 개발 과정보다 몇 차례 길고, 반복적인 과정이 요구됩니다. 이러한 작업들 사전에 정의된 프로세스를 통해 구성원 각각이 먼저 이해하고 숙련도를 높일 수 있다면, AI 모델의 오류로 인해 발생하는 리스크를 사전에 줄이고 신뢰할 수 있는 사용자 경험을 제공할 수 있습니다.
저는 여러 시행착오를 줄이고 구성원들이 전체적인 AI 제품 개발 과정과 각 단계별 역할에 대해서 이해할 수 있도록, PwC의 Responsible AI Toolkit [4] 을 참고해 개발 프로세스를 구성했습니다. 이 프로세스에서는 9단계의 모델 라이프 사이클 단계별, 실무적으로 고려해야 할 작업의 내용을 설명합니다. 주요 검증 단계별 기준을 제시하여, 모델의 성능 품질과 목표 관리를 용이하게 할 수 있다는 장점이 있습니다. 또한 기능을 배포하는 것 이상으로 AI 모델 발전에 필요한 절차를 제품 팀의 구성원(디자이너, 엔지니어 등)이 공감하고 이해할 수 있어, 더욱 생산적인 논의와 효율적인 개발을 촉진시킬 수 있습니다.
모델 개발 라이프사이클과 단계별 스테이지 질문(출처 : PwC)
2. 단계별 프로덕트 매니저가 검증해야 하는 5가지 질문
여기서 프로덕트 매니저는 프로세스 전 과정에서 적절한 질문을 던져 작업의 목표 및 달성 상황 등을 판단할 수 있어야 합니다. 또한 적절한 기준을 세워 AI 모델의 아웃풋을 평가하고, 필요시 반복적인 개선 작업을 요청해야 합니다. 이때 비즈니스 KPI > 사용자 지표 > AI 모델의 성능 지표 등 단계별 목표 달성 여부를 데이터로 연결할 수 있다면, 일관적으로 목표를 관리하고 구성원들의 사기를 높이는 데에 큰 도움이 됩니다[5].
처음 LLM(Large Language Model)을 활용해 영어 스피킹 시험의 AI 자동 채점 및 첨삭 제품을 개발할 때, 에러케이스에 대한 기준을 세우지 못한 채 일반적인 프로세스로 개발을 진행하게 되면서 큰 혼란을 겪었던 적이 있습니다. Speech To Text 모델, GPT 모델의 경우 기존 AI 모델에 비해서도 아웃풋을 예측하기 어려우며, 에러 케이스가 산발적으로 넓은 범위에서 발생하기 때문입니다. 이를 해결하기 위해 AI 모델의 개발 라이프 사이클에 맞춰 각 담당자의 역할을 정리했고, 단계별 기준을 세워 목표 달성 여부를 관리했습니다. 이를 수치로 파악하고 모델이 기대한 성능을 보여주지 못한 경우, 이를 충족시킬 때까지 반복적인 개선 작업을 진행했습니다. 또한 실 사용 환경에서 발생할 수 있는 에러 케이스의 종류를 체계화한 후, 기능 배포 시 마다 검증했습니다. 배포 후 사용자의 반응을 관찰하며 모델을 재학습 시키기도 했습니다. 이러한 프로세스와 질문은 결과적으로 팀의 릴리즈 속도를 높이고, 높은 재구매율을 가진 제품을 시장에 출시할 수 있었습니다.
마무리하며
앞에서 언급했던 건축가 유동룡의 말을 다시 인용하며, 이 글을 마치겠습니다.
“당분간은 돌을 사용하면서 내 나름의 세계를 어떻게 표현할 것인지 고민하고 싶다. 나는 장인이면서 동시에 작가이기도 하므로 장인의 손에만 모든 것을 맡길 수는 없다. 돌을 향해 궁극적으로 무엇을 표현할 수 있을지 어떤 세계를 드러낼 수 있을지가 앞으로의 문제다.”
모든 산업의 영역에서 AI 기술은 획기적인 소재이자, 이전에는 없었던 기회가 될 것입니다. 이러한 과정에서 프로덕트 매니저는 결국 완결성 높은 AI 제품을 만들어 내는 것을 넘어, AI를 통해 지속 가능한 비즈니스 임팩트를 창출할 수 있어야 합니다. 시장, 사용자, 기술의 문맥 속에서 균형적인 관점을 형성하고, 본질을 뽑아내 제품에 스며들게 하는 것이 중요합니다. 소재가 가진 특성을 이해하고 비용, 프로세스, 협업 방식 등을 고민하는 것은 왜 AI를 활용해야 하는지, 다른 소재 및 제품과 결합하여 어떻게 조형하는 것이 좋을지 올바르게 결정하는 데에 중요한 시작점이 될 것입니다.
소재를 다루는 솜씨는 서툴러도, 프로덕트 매니저의 시선은 언제나 사용자의 문제를 지속 가능한 방식으로 해결하는 것을 향해야 합니다. 저 역시 한번, 한번의 제품 개발 과정을 사용자의 목표를 향한 연속적인 시도와 학습의 과정으로 생각하고, 매 순간 더 잘 이뤄내기 위한 방식 등을 고민하게 되는 것 같습니다. 이 글을 읽는 독자분들도 제품을 구성하는 하나의 소재로써 AI 기술을 이해하고, 이를 통해 임팩트 있는 일들에 활용하실 수 있게 되길 기대합니다.
▶ <AI를 다룬다> 시리즈 보러 가기
글 | 이승헌 뤼이드 프로덕트 매니저 (lsh9476@gmail.com)
AI 에듀테크 기업인 뤼이드(Riiid)에서 영어 학습자를 위한 AI Tutor 제품을 담당하는 프로덕트 매니저입니다. 인간과 컴퓨터 상호작용(Human-Computer Interaction) 분야의 석사 과정에서 대화형 AI 등의 사용자 경험을 연구한 경험이 있으며, 연달아 스타트업에서 사랑받는 제품과 프로덕트 매니지먼트를 향한 경험을 쌓아나가고 있습니다.
발행일 2024.01.22
2. 단계별 프로덕트 매니저가 검증해야 하는 5가지 질문
여기서 프로덕트 매니저는 프로세스 전 과정에서 적절한 질문을 던져 작업의 목표 및 달성 상황 등을 판단할 수 있어야 합니다. 또한 적절한 기준을 세워 AI 모델의 아웃풋을 평가하고, 필요시 반복적인 개선 작업을 요청해야 합니다. 이때 비즈니스 KPI > 사용자 지표 > AI 모델의 성능 지표 등 단계별 목표 달성 여부를 데이터로 연결할 수 있다면, 일관적으로 목표를 관리하고 구성원들의 사기를 높이는 데에 큰 도움이 됩니다[5].
- 비즈니스 적합성 : 해당 비즈니스에 AI 기술을 적용하는 것이 적합한가?
- 성능 적합성 : AI 모델은 의도했던 사용자 경험을 구현하기 위해 적합한 성능을 보여주는가?
- 프로덕션 환경 배포 여부 결정 : AI 제품/기능을 프로덕션 환경에 배포할 준비가 되어 있는가?
- AI 모델의 운영 방식 결정 : 성능, 비용 등의 측면에서 AI 모델을 지속적으로 운영해도 되는가?
- 모델 개선 및 중단 여부 결정 : 모델은 현재 상태 그대로 지속해도 되는가? 혹은 재학습/ 재설계하거나, 서비스를 중단해야 하는가?
처음 LLM(Large Language Model)을 활용해 영어 스피킹 시험의 AI 자동 채점 및 첨삭 제품을 개발할 때, 에러케이스에 대한 기준을 세우지 못한 채 일반적인 프로세스로 개발을 진행하게 되면서 큰 혼란을 겪었던 적이 있습니다. Speech To Text 모델, GPT 모델의 경우 기존 AI 모델에 비해서도 아웃풋을 예측하기 어려우며, 에러 케이스가 산발적으로 넓은 범위에서 발생하기 때문입니다. 이를 해결하기 위해 AI 모델의 개발 라이프 사이클에 맞춰 각 담당자의 역할을 정리했고, 단계별 기준을 세워 목표 달성 여부를 관리했습니다. 이를 수치로 파악하고 모델이 기대한 성능을 보여주지 못한 경우, 이를 충족시킬 때까지 반복적인 개선 작업을 진행했습니다. 또한 실 사용 환경에서 발생할 수 있는 에러 케이스의 종류를 체계화한 후, 기능 배포 시 마다 검증했습니다. 배포 후 사용자의 반응을 관찰하며 모델을 재학습 시키기도 했습니다. 이러한 프로세스와 질문은 결과적으로 팀의 릴리즈 속도를 높이고, 높은 재구매율을 가진 제품을 시장에 출시할 수 있었습니다.
마무리하며
앞에서 언급했던 건축가 유동룡의 말을 다시 인용하며, 이 글을 마치겠습니다.
“당분간은 돌을 사용하면서 내 나름의 세계를 어떻게 표현할 것인지 고민하고 싶다. 나는 장인이면서 동시에 작가이기도 하므로 장인의 손에만 모든 것을 맡길 수는 없다. 돌을 향해 궁극적으로 무엇을 표현할 수 있을지 어떤 세계를 드러낼 수 있을지가 앞으로의 문제다.”
모든 산업의 영역에서 AI 기술은 획기적인 소재이자, 이전에는 없었던 기회가 될 것입니다. 이러한 과정에서 프로덕트 매니저는 결국 완결성 높은 AI 제품을 만들어 내는 것을 넘어, AI를 통해 지속 가능한 비즈니스 임팩트를 창출할 수 있어야 합니다. 시장, 사용자, 기술의 문맥 속에서 균형적인 관점을 형성하고, 본질을 뽑아내 제품에 스며들게 하는 것이 중요합니다. 소재가 가진 특성을 이해하고 비용, 프로세스, 협업 방식 등을 고민하는 것은 왜 AI를 활용해야 하는지, 다른 소재 및 제품과 결합하여 어떻게 조형하는 것이 좋을지 올바르게 결정하는 데에 중요한 시작점이 될 것입니다.
소재를 다루는 솜씨는 서툴러도, 프로덕트 매니저의 시선은 언제나 사용자의 문제를 지속 가능한 방식으로 해결하는 것을 향해야 합니다. 저 역시 한번, 한번의 제품 개발 과정을 사용자의 목표를 향한 연속적인 시도와 학습의 과정으로 생각하고, 매 순간 더 잘 이뤄내기 위한 방식 등을 고민하게 되는 것 같습니다. 이 글을 읽는 독자분들도 제품을 구성하는 하나의 소재로써 AI 기술을 이해하고, 이를 통해 임팩트 있는 일들에 활용하실 수 있게 되길 기대합니다.
▶ <AI를 다룬다> 시리즈 보러 가기
글 | 이승헌 뤼이드 프로덕트 매니저 (lsh9476@gmail.com)
AI 에듀테크 기업인 뤼이드(Riiid)에서 영어 학습자를 위한 AI Tutor 제품을 담당하는 프로덕트 매니저입니다. 인간과 컴퓨터 상호작용(Human-Computer Interaction) 분야의 석사 과정에서 대화형 AI 등의 사용자 경험을 연구한 경험이 있으며, 연달아 스타트업에서 사랑받는 제품과 프로덕트 매니지먼트를 향한 경험을 쌓아나가고 있습니다.
발행일 2024.01.22