AI를 다룬다 : 대화형 AI 프로덕트 메이커의 현재와 미래

글ㅣ소민경 하나카드 AICC 서비스기획자

AI를 다룬다 : 대화형 AI 프로덕트 메이커의 현재와 미래

일자

상시
유형
아티클
태그
이 아티클은 <AI를 다룬다> 시리즈의 4화입니다. 


오늘의 아티클 
  • 대화 기반의 인터랙션은 사용이 편리하고 직관적인 장점이 있습니다. 특히 LLM과 생성형 AI의 등장으로 다양한 도메인의 서비스에서 활용이 가능해졌습니다.
  • 대화형 AI 프로덕트를 만드는 사람들의 역할은 사용자의 의도를 정확히 파악하고 대화 시나리오를 설계하는 것입니다. 
  • 생성형 AI 이후에는 적절한 대화를 제공하기 위해 필요한 학습 데이터를 설계하고, 제품의 특성에 맞게 생성형 AI 기술의 도입 전략을 세우고,  품질 유지를 위한 모니터링, 보안 및 프라이버시에 대한 정책 마련 등의 역할이 필요합니다. 

Chat GPT의 출현 이후 복잡한 코드나 마우스 클릭 없이도 자연스럽게 기계에 요청하고 응답을 받을 수 있게 되었습니다. 텍스트나 음성을 통해 간편하게 은행 잔고를 확인하거나, 운전 중에 필요한 물건을 구매하기도 하고, 채팅을 통한 의료 상담도 가능해졌습니다. 특히 맥락 분석(Context Analysis), 감정 분석(Sentiment Analysis), 멀티 턴(Multi-turn Dialog) 등의 기술이 고도화되어 복잡한 대화 흐름 속에서도 정확하게 의도와 맥락을 파악하고, 미묘한 감정이나 음성의 변화도 알아챌 수 있으며 과거의 대화, 선호, 행동 등을 더 반영한 초개인화된 대화 제공이 가능해졌습니다.

대화 기반의 프로덕트는 기술의 진보에 따라 점점 사람 간 소통 방식과 유사한 방식으로 인터페이스가 발전하고 있습니다. 1966년도에 만들어진 초기의 챗봇 Eliza가 CLI(Command-Line Interface) 즉, 명령어로 소통하는 방식으로 만들어졌다면, 2007년 iPhone의 출시와 함께 시각적인 요소를 바탕으로 대화할 수 있는 GUI(Graphic User Interface) 기반의 챗봇이 등장했고, 이후 음성 인식, 제스처 인식, 시선 추적 등의 기술 발전으로 구글 홈이나 시리, 빅스비 등 음성이나 간단한 행동만으로 자연스럽게 상호작용하는 NUI(Natural User Interface) 기반의 챗봇까지 등장했습니다.

인터페이스의 변화에 따른 대화형 서비스


대화를 기반으로 한 인터랙션은 사용자가 인지적 자원을 많이 들이지 않아도 되어 사용이 편리하고 직관적입니다. 어린아이부터 노년층까지 디지털 친숙도에 관계없이 서비스 가치를 쉽게 전달할 수 있어 매력적이기도 합니다. 반면에 Siri나 Bixby와 같은 대화형 에이전트를 사용하면서 내 말의 의도가 정확하게 파악되지 않거나 원하는 답변을 받지 못해 답답했던 경험도 있을 것입니다. 챗봇을 운영하면서 “왜 내 말을 못 알아듣니”, “답답해 죽겠네"와 같은 대화 로그를 발견해 아쉬운 마음이 들 때도 많았습니다.

더 똑똑한 대화형 AI 프로덕트를 만들기 위해 PM 및 서비스 기획자가 현재 하는 일과 생성형 AI 시대에 요구되는 역할에 대해 소개하고자 합니다.


대화형 AI 프로덕트 메이커의 현재 : 의도 파악과 시나리오 설계


대화형 AI 기반 프로덕트는 사용자가 먼저 무언가를 요청했을 때 그 의도(Intent)를 파악하는 것으로부터 시작합니다. 따라서 PM 및 기획자의 역할은 사용자의 의도를 정확하게 알아들을 수 있도록 자연어 처리(NLP) 엔진의 학습 데이터를 최적화하거나, 사용자가 애매하게 말할 경우 정확한 의도를 파악하기 위한 대화 시나리오를 구축하는 것입니다.


NLP 모니터링 : 사용자 의도는 명확하나 챗봇이 알아듣지 못할 때

사용자가 “카드 값 50만 원만 미리 갚을게”라고 말했지만 챗봇은 “이번달 결제 금액 전체를  결제해 드릴게요.”라고 답합니다. 사용자의 요청에서 ‘결제’라는 의도(Intent)는 파악했지만 ‘50만 원’이라는 특정 금액을 인식하지 못해 ‘전체 금액 결제’ 시나리오로 연결된 것입니다. 챗봇의 초기엔 ‘결제’라는 큰 맥락에서의 의도는 파악할 수 있도록 학습 시켰으나 운영을 하다 보면 사용자의 의도는 그 안에서도 더 세분화된다는 걸 알 수 있습니다. 따라서 챗봇 로그에 쌓이는 대화 데이터를 지속적으로 모니터링하며 의도를 세분화하거나, 새로운 의도 추가 및 조정 등 NLP 엔진을 최적화 해나가며 사용자의 의도를 정확하게 파악할 수 있어야 합니다.


리에스크 대화 설계 : 사용자의 의도가 명확하지 않을 때

구글, 네이버 같은 검색엔진에 익숙하고 챗봇과 대화하는 것이 어색한 사용자들은 “교통", “카드”와 같이 키워드 기반으로 말하는 경우가 빈번합니다. 제가 운영하는 챗봇의 경우 전체 발화의 약 30~40% 정도를 차지할 정도입니다. 만약 사용자의 의도를 마음대로 추측하여 특정 시나리오를 제공할 경우, 챗봇이 내 말을 못 알아듣는다고 생각하게 될 것입니다. 사람 간의 대화에서도 모르면 다시 묻듯이 리에스크(Re-ask) 및 관련 업무 제안 등의 대화를 통해 사용자의 의도를 정확하게 파악하고 답변해야 합니다.

리에스크 3단계 전략


<3단계로 리에스크(Re-ask)하기>

  • 1단계 : 관련 업무 제안하기
기존 상담 이력을 바탕으로 “교통”이라고 말한 경우 최종 상담한 업무를 제안합니다. 

  • 2단계 : 자주 묻는 문의 제공하기
1단계에서 사용자의 의도를 파악하지 못했다면 챗봇에 자주 묻는 문의를 예시로 제공하며 한 번 더 되묻습니다. 

  • 3단계 : 상담 직원 안내하기
상담 직원을 연결하여 빠르게 업무를 처리할 수 있도록 합니다. 

이처럼 사용자의 의도를 정확하게 파악하기 위해서는 사용자 로그 데이터를 꾸준히 모니터링하는 것이 중요한데 단순 반복적인 업무로 업무에 지장을 줄 수도 있습니다. 따라서 대화를 효율적으로 관리하기 위해 대시보드 등을 구현하여 매번 텍스트 분석을 하지 않아도 운영 모니터링할 수 있는 시스템을 구축하는 것이 효과적입니다. 

단비 AI 챗봇의 챗봇 사용 현황 모니터링 대시보드 [1]


적절한 시나리오 설계 : 챗봇의 답변 제공 범위 정하기

대화 시나리오를 설계할 때에는 챗봇으로 다 해결하는 게 맞는지에 대한 고민이 필요합니다. 도메인 및 제품의 특성을 고려하면 챗봇에서 자체적으로 해결해 주는 것보다 방법을 찾아주는 방식이 더 효과적일 때도 있습니다. 카드사의 고객센터 챗봇의 역할은 ‘단순한 업무는 빠르게 처리하고 복잡한 업무는 상담 직원이 응대할 수 있도록 신속하게 연결해 주는 것’이 목표입니다. 따라서 1차적으로는 업무 난이도에 따라 챗봇으로 답변할 의도를 분류합니다. 예를 들어 ‘이번 달 카드값 결제할래’는 단순한 업무로 챗봇이 해결하고, ‘이번 달 카드값 중에 50만 원만 결제하고, 이벤트 참여로 환급받는 돈이 입금이 안 된 것 같은데 언제 입금되는지 알려줘’ 와 2개 이상의 복잡한 업무를 묻는 경우 상담 직원 연결 시나리오로 연결시킵니다. 2차적으로는 사용 빈도, 사용성, 개발 난이도 등을 고려하여 1) 챗봇 자체 시나리오로 구현할지 2) 관련 앱 페이지로 연결할지를 검토합니다. ‘카드 값 결제'와 같은 업무는 빈도가 높은 업무 중 하나이기 때문에 개발 난이도가 높더라도 사용자가 빠르게 해결하여 상담 직원이 처리하는 단순 상담으로 이어지지 않도록 챗봇 자체에서 처리하는 게 효과적입니다. 그러나, 무이자 혜택이나 이벤트 등은 매월 수시로 변경되는 정보이기 때문에 개발 리소스도 많이 투여될 뿐만 아니라 동일한 정보를 챗봇/앱 즉, 관리 채널이 2개가 되기 때문에 정확하게 업데이트 하지 않으면 사용자에게 부정확한 정보를 전달하게 될 수도 있습니다.


앞으로의 대화형 AI 프로덕트의 방향성 : ‘사용자가 먼저 말 걸지 않는’


AI 기술이 발전하면 챗봇이 사용자의 의도를 모두 정확하게 파악하여 만족스러운 답변을 제공할 수 있을까요? 저의 답변은 “NO”입니다. 대화형 인터랙션은 ‘의도(intent)를 파악하여 그에 적절한 답변(output)을 제공한다.’ 즉, 사용자가 요청을 해야 모든 액션이 시작됩니다. 그렇기 때문에 사용자가 어떻게 말하는지에 따라 챗봇이 제공하는 답변의 퀄리티도 달라질 수밖에 없습니다. ChatGPT와 대화할 때 동일한 의도더라도 어떻게 프롬프팅 하느냐에 따라 답변이 달라지는 것만 봐도 쉽게 이해할 수 있습니다. 

챗봇이 제공할 수 있는 답변의 퀄리티는 기술이 발전하면서 점점 더 좋아지지만 퀄리티 있는 답변을 얻을 수 있게 사용자가 요청하는 기술은 그에 비해 빠르게 발전하지 않을 것입니다. 따라서 우리가 사용자를 먼저 알고 말을 거는 UX 전략이 필요합니다. 카드 연체금액이 있는 고객이 보이스봇 인입 시 ‘민경님, 연체금액이 있는데 먼저 안내해 드릴까요?’라고 먼저 물었을 때 약 90% 이상이 연체금액을 궁금해했고, 60% 이상의 고객이 연체금액 결제까지 하는 성공적인 결과를 얻을 수 있었습니다.

이와 같은 고객 정보를 기반으로 먼저 말을 거는 선발하는 초기에는 유저 세그먼트에 따른 규칙 기반(Rule-based)에서 LLM(Large Language Model)을 도입하면 초개인화 범위까지 확대될 수 있습니다. 예를 들어 ‘연체금액이 있는 고객', ‘최근 카드를 발급받은 이력이 있는 고객’ 등과 같이 조건을 설정하여 조건에 해당하는 고객이 필요할 만한 업무를 먼저 제공한다면 고객의 행동, 카드 사용 이력, 상담 이력 등의 데이터로 파인 튜닝(Fine Tuning)된 LLM을 활용하여 ‘이 고객이 다음에 들어와서 어떤 상담을 할까’의 상담을 예측하여 고객 단위로 선발화를 제공하는 초개인화된 범위까지 제공할 수 있을 것입니다.



시나리오도 알아서 만드는 Gen AI, 기획자의 역할은?


앞서 설명했듯이 대화형 AI 프로덕트 메이커의 역할은 의도를 파악하고 그에 맞는 시나리오를 설계하는 것이라면, 의도도 알아서 파악하고 그에 맞는 답변 시나리오도 알아서 만드는 생성형 AI가 등장 이후 이 직업은 사라지게 될까요? 저의 답은 NO입니다. 의도를 파악하고 적절한 시나리오를 설계하는 것에서 대화 전략을 세우고 품질 유지를 위한 모니터링 및 관리를 하는 역할로 변화할 뿐 직업이 사라지지는 않을 거라고 생각합니다. 

1. AI 엔진에 활용할 상용 및 커스텀 데이터 적절한 조합 찾기

LLM 기반의 챗봇 및 보이스봇 등을 만들 때에는 어떤 LLM 모델과 커스텀 데이터를 사용해서 답변의 정확도를 높이고, 프로덕트의 가치를 잘 전달할 수 있을지를 검토해야 합니다. 예를 들어 ChatGPT를 기반으로 한 카드 상담 챗봇을 만든다고 가정할 때 ChatGPT가 일반적인 문맥에서는 정확한 답변을 할 수 있지만 카드사의 정책, 카드명, 전문용어, 업무 등에 대해 정확한 답변을 제공하기 위해서는 카드 회사의 지식 창고인 KMS의 정보를 커스텀 데이터로 적절하게 파인튜닝(Fine tuning) 해야 퀄리티 높은 답변을 제공할 수 있을 것입니다.

2. 위험도에 따른 점진적 도입 전략 설정

각 도메인에 맞게 파인 튜닝된 챗봇이라고 할지라도 바로 엔드 유저에게 제공하는 것은 기업 이미지에 리스크가 발생할 수 있습니다. 따라서 답변의 신뢰성과 정확성을 검증한 뒤 엔드 유저에게 제공하는 점진적인 도입 전략을 설계할 필요가 있습니다. 카드 상담 챗봇의 경우, 초기에는 상담원들이 고객 응대를 위해 필요한 정보를 검색하는 상담 정보 검색용 챗봇으로 도입한 뒤, 고객에게 제공할 때에는 개인정보를 활용하지 않은 이벤트, 혜택 등의 저위험 업무부터 충분한 테스트를 거쳐 할루시네이션 최소화, 답변의 신뢰성 및 정확성을 확보한 뒤 개인정보를 활용하는 결제, 신용 관리 등의 업무까지 제공할 있도록 저위험 범위에서 고위험 범위로 답변 범위를 확대 시키는 전략을 세울 수 있습니다. 특히 금융, 법률, 교육 등 전문성 있는 정보를 제공해야 하는 도메인일수록 더 중요합니다. 실제로 국민카드도 생성형 AI를 도입하기 전 저위험 업무인 이벤트 및 혜택을 안내하는 ‘이벤트Q&AI’라는 챗봇을 베타 테스트 형태로 출시한 뒤 사용자의 반응을 살피고 있습니다. [2

3. 데이터 보안 및 프라이버시에 대한 정책 마련

생성형 AI가 더 개인화된 답변을 제공하기 위해서는 사용자의 데이터가 필요하나 항상 프라이버시 및 데이터 보안에 관한 문제가 따라옵니다. 특히 VIP 고객과 같이 프라이버시에 민감한 사용자들은 자신의 데이터가 기록되고 사용되는 것에 대해 더욱 부정적일 수 있습니다. 따라서 챗봇이 개인정보를 활용할 때에는 답변의 범위를 어디까지 정할 것인가에 대한 고민과 민감한 개인 정보를 요구하지 않고도 효과적인 서비스를 제공할 수 있는 기능은 어떤 것이 있을지 고민할 필요가 있습니다.


마지막으로


대화형 기술의 발전은 우리가 기계와 일상과 더 유사한 방식으로 소통하고 프로덕트의 가치를 제공할 수 있도록 해주었습니다. 생성형 AI는 좋은 재료일 뿐 어떤 맛있는 요리를 할지는 셰프의 역할이 더 중요합니다. 날이 갈수록 빨라지는 대화형 기술의 속도에 발맞추며 내 서비스에 어떻게 활용할 수 있을지 끊임없이 고민하고 만들어 나가는 게 대화형 AI 프로덕트 메이커의 역할인 것 같습니다.

이 글을 읽는 독자분들이 대화형 AI 기반의 제품을 만드는 사람들이 현재 하는 일과 미래에 요구되는 역할을 이해하는데 조금이나마 도움이 되었으면 합니다. AI의 좋은 재료 중 하나인 대화형 AI 기술을 바탕으로 더 나은 사용자 경험과 비즈니스 가치를 만들어 나가는 여정을 함께 하고 싶습니다. 



▶ <AI를 다룬다> 시리즈 보러 가기



글 | 소민경 하나카드 AICC 기획자
하나카드에서 AICC 챗봇 및 보이스봇을 담당하고 있는 CUI 기획자입니다. 심리학과 인간과 컴퓨터 상호작용(Human-Computer Interaction) 분야의 석사 과정에서 대화형 AI 등의 사용자 경험을 연구한 경험이 있으며, 연달아 헬스케어, 금융 등의 도메인에서 대화형 AI를 기반으로 문제를 해결하는 경험을 쌓아나가고 있습니다.


발행일 2024.02.05