기업이 AI 도입할 때 체크할 사항 6가지
글ㅣ박태영 홀릭스 창업자
기업이 AI 도입할 때 체크할 사항 6가지
일자
상시
유형
아티클태그
생산성 향상을 위해서
혹은 제품을 개선하기 위해
AI 도입을 검토하는 기업이 늘고 있습니다.
당연히 모든 기업이 AI에 관심을 가져야 하고
궁극적으로는 AI를 활용하지 않는 기업은
많지 않은 시대가 열릴 것입니다.
그럼에도 AI 도입을
여전히 명쾌하게 잘하는 기업은
많지 않은 것 같습니다.
최근 맥도날드도 AI 주문 기능을 철회한 바 있고
한 해외통계에 따르면 90% 이상이
도입에 실패한다고 합니다.
AI는 여전히 신기술이고
여전히 너무 빠르게 발전하고 있어
패턴이 자리 잡히지 않았습니다.
그 상황에서 비즈니스 관점에서
AI 전문가는 거의 전무한 상황입니다.
그러다 보니 모델을 훈련하던
AI 엔지니어의 목소리가 커졌습니다.
문제는 이 AI엔지니어가 원하는 방향과
비즈니스적으로 성공하는 방향이
다를 수 있다는 점입니다.
전형적인 이해충돌 상황입니다.
그래서 의사결정자가
모든 것을 위임하는 것이 아니라
몇 가지는 직접 체크해야 합니다.
1. AI가 할 수 있는
일의 범위 이해하기
ChatGPT가 많은 사람에게 충격을 준 지도
2년이 다 되어 갑니다.
하지만 그사이에 기술적으로 완성도가
상당히 높아졌습니다.
토큰당 비용은 무려 240배 이상 감소하였고
응답 시간은 10배 이상 개선되었습니다.
혹은 제품을 개선하기 위해
AI 도입을 검토하는 기업이 늘고 있습니다.
당연히 모든 기업이 AI에 관심을 가져야 하고
궁극적으로는 AI를 활용하지 않는 기업은
많지 않은 시대가 열릴 것입니다.
그럼에도 AI 도입을
여전히 명쾌하게 잘하는 기업은
많지 않은 것 같습니다.
최근 맥도날드도 AI 주문 기능을 철회한 바 있고
한 해외통계에 따르면 90% 이상이
도입에 실패한다고 합니다.
AI는 여전히 신기술이고
여전히 너무 빠르게 발전하고 있어
패턴이 자리 잡히지 않았습니다.
그 상황에서 비즈니스 관점에서
AI 전문가는 거의 전무한 상황입니다.
그러다 보니 모델을 훈련하던
AI 엔지니어의 목소리가 커졌습니다.
문제는 이 AI엔지니어가 원하는 방향과
비즈니스적으로 성공하는 방향이
다를 수 있다는 점입니다.
전형적인 이해충돌 상황입니다.
그래서 의사결정자가
모든 것을 위임하는 것이 아니라
몇 가지는 직접 체크해야 합니다.
1. AI가 할 수 있는
일의 범위 이해하기
ChatGPT가 많은 사람에게 충격을 준 지도
2년이 다 되어 갑니다.
하지만 그사이에 기술적으로 완성도가
상당히 높아졌습니다.
토큰당 비용은 무려 240배 이상 감소하였고
응답 시간은 10배 이상 개선되었습니다.
(출처=구글)
ChatGPT와 같은 기초모델을
제외한 활용 분야에서도
많은 연구와 발전이 있었습니다.
이렇게 변화가 빠르다 보니
AI가 할 수 있는 일과 없는 일에 대한 이해는
사람마다 모두 다릅니다.
글로벌 레벨에서 함께 경계선을
개척하고 있는 엔지니어가 있는 반면
이미 최전선에서는 1년 이상 지난 이야기를
최신으로 파악하여,
AI가 할 수 있는 일을
과소평가하는 경우도 있습니다.
AI에 대한 실질적 경험 없이 믿음만으로
지나치게 허황한 이야기를 하는 분들도 있습니다.
그렇기 때문에 어떤 이야기만 듣고
AI에 대해 단정적으로 판단하는 것은 위험합니다.
의사결정자 입장에서
직접 공부해야 하고 다양한 의견을 들어보고
믿을 수 있는 자문을 구하는 것이 중요합니다.
시간도 반드시 고려해야 합니다.
지금 AI가 할 수 있는 일과
6개월 뒤 할 수 있는 일은 다릅니다.
그렇기 때문에 시간을 고려하면
포기 대신에 유예하는 등
의사결정을 더 유연하게 할 수 있습니다.
이 경우에도 과거나 현재 할 수 있는 일로
AI에 단정적으로 접근하지 않는 것이 중요하고
변화와 트렌드를 팔로우하는 것이 도움이 됩니다.
2. 하드코딩 vs AI
AI 도입 컨설팅을 해 보면
많은 분이 자동화 에이전트와
AI를 혼용하시는 것을 발견합니다.
자동화 에이전트는
어떤 업무를 사람의 개입 없이
규칙에 따라 수행하는 프로그램이고
AI는 고정된 규칙 없이
스스로 판단할 수 있는 시스템을 말합니다.
물론 넓은 의미에서 자동화 에이전트도
AI의 일종으로 볼 수 있습니다.
하지만 기술적 구현 방식은 완전히 다릅니다.
자동화 에이전트는
하드코딩을 해서 만든다고 표현합니다.
즉 규칙을 코드로 그대로 구현해서 만듭니다.
어떤 입력이 들어올지 알고 있고
그에 따라 어떤 출력을 만들어질지
정해둔 것입니다.
그에 비해 AI는
모델을 훈련한다고 표현합니다.
어떤 패턴을 통계적으로 "이해"시켜 두면
새로운 입력이 들어와도
유연하게 대응하여 결과를 낼 수 있습니다.
하드코딩은 구현부터 실행까지
아주 값싸고 가볍습니다.
그에 비해 AI는 상대적으로 무겁고 비쌉니다.
그렇기 때문에
비교적 규칙적인 입력이 들어온다면
AI 모델을 사용하기보다는
하드코딩을 사용하는 것이
대부분의 경우 더 적합합니다.
하드코딩이면 충분한 것을
AI를 쓰기 위해 AI로 구현하여
성능은 떨어지고 비용은 많이 증가하는 실수는
현재 정말 흔하게 일어나고 있습니다.
3. 자체 모델 개발 vs
예전에는 AI를 도입하려면
당연히 그 태스크에 맞는
자체 모델을 개발해야 했습니다.
하지만 이제 가져다 쓸 수 있는
거대 모델들과 설루션 형태의 범용 모델들이
시장에 넘쳐납니다.
따라서 AI를 도입할 때는
먼저 외부 모델을 활용할 수 있는지
충분한 탐색을 거쳐야 합니다.
일반적으로 외부 모델을 사용하는 것이
직접 개발하는 것보다 훨씬 저렴하기 때문입니다.
외부 모델이 충분히 검토되었는지는
의사결정자가 직접 챙겨야 합니다.
AI 엔지니어 대부분은
모델 개발을 전문으로 하시는 분들이기 때문에
외부 모델 도입에 대해 부정적일 가능성이 큽니다.
실제로 AI 조직을 만들 때
모델 개발 위주로 만들어서
이미 훨씬 저렴한 가격으로
더 우수한 모델을 사용할 수 있는데도
자체 모델을 고집하여
비즈니스 목적에서 이탈하는 경우가 많습니다.
4. 자체 호스팅 vs API 호출
AI 모델에 인풋을 넣어
아웃풋을 받는 과정을 추론이라고 합니다.
사용하는 모델에 따라
추론은 소유하고 있는
자체 컴퓨터에서 할 수도 있고
모델을 제공하는 회사의
서버를 통해 할 수도 있습니다.
자체적으로 하는 경우를
자체 호스팅을 한다 표현하고
원격으로 호출하는 경우
API를 활용한다 표현합니다.
일반적으로 규모의 경제로 인해
API 호출이 더 저렴합니다.
그래픽 카드나 AI용 하드웨어를 직접 사용하려면
초기 큰 비용을 투자해야 합니다.
ChatGPT와 같은 기초모델을
제외한 활용 분야에서도
많은 연구와 발전이 있었습니다.
이렇게 변화가 빠르다 보니
AI가 할 수 있는 일과 없는 일에 대한 이해는
사람마다 모두 다릅니다.
글로벌 레벨에서 함께 경계선을
개척하고 있는 엔지니어가 있는 반면
이미 최전선에서는 1년 이상 지난 이야기를
최신으로 파악하여,
AI가 할 수 있는 일을
과소평가하는 경우도 있습니다.
AI에 대한 실질적 경험 없이 믿음만으로
지나치게 허황한 이야기를 하는 분들도 있습니다.
그렇기 때문에 어떤 이야기만 듣고
AI에 대해 단정적으로 판단하는 것은 위험합니다.
의사결정자 입장에서
직접 공부해야 하고 다양한 의견을 들어보고
믿을 수 있는 자문을 구하는 것이 중요합니다.
시간도 반드시 고려해야 합니다.
지금 AI가 할 수 있는 일과
6개월 뒤 할 수 있는 일은 다릅니다.
그렇기 때문에 시간을 고려하면
포기 대신에 유예하는 등
의사결정을 더 유연하게 할 수 있습니다.
이 경우에도 과거나 현재 할 수 있는 일로
AI에 단정적으로 접근하지 않는 것이 중요하고
변화와 트렌드를 팔로우하는 것이 도움이 됩니다.
2. 하드코딩 vs AI
AI 도입 컨설팅을 해 보면
많은 분이 자동화 에이전트와
AI를 혼용하시는 것을 발견합니다.
자동화 에이전트는
어떤 업무를 사람의 개입 없이
규칙에 따라 수행하는 프로그램이고
AI는 고정된 규칙 없이
스스로 판단할 수 있는 시스템을 말합니다.
물론 넓은 의미에서 자동화 에이전트도
AI의 일종으로 볼 수 있습니다.
하지만 기술적 구현 방식은 완전히 다릅니다.
자동화 에이전트는
하드코딩을 해서 만든다고 표현합니다.
즉 규칙을 코드로 그대로 구현해서 만듭니다.
어떤 입력이 들어올지 알고 있고
그에 따라 어떤 출력을 만들어질지
정해둔 것입니다.
그에 비해 AI는
모델을 훈련한다고 표현합니다.
어떤 패턴을 통계적으로 "이해"시켜 두면
새로운 입력이 들어와도
유연하게 대응하여 결과를 낼 수 있습니다.
하드코딩은 구현부터 실행까지
아주 값싸고 가볍습니다.
그에 비해 AI는 상대적으로 무겁고 비쌉니다.
그렇기 때문에
비교적 규칙적인 입력이 들어온다면
AI 모델을 사용하기보다는
하드코딩을 사용하는 것이
대부분의 경우 더 적합합니다.
하드코딩이면 충분한 것을
AI를 쓰기 위해 AI로 구현하여
성능은 떨어지고 비용은 많이 증가하는 실수는
현재 정말 흔하게 일어나고 있습니다.
3. 자체 모델 개발 vs
이미 만들어진 모델 활용
예전에는 AI를 도입하려면
당연히 그 태스크에 맞는
자체 모델을 개발해야 했습니다.
하지만 이제 가져다 쓸 수 있는
거대 모델들과 설루션 형태의 범용 모델들이
시장에 넘쳐납니다.
따라서 AI를 도입할 때는
먼저 외부 모델을 활용할 수 있는지
충분한 탐색을 거쳐야 합니다.
일반적으로 외부 모델을 사용하는 것이
직접 개발하는 것보다 훨씬 저렴하기 때문입니다.
외부 모델이 충분히 검토되었는지는
의사결정자가 직접 챙겨야 합니다.
AI 엔지니어 대부분은
모델 개발을 전문으로 하시는 분들이기 때문에
외부 모델 도입에 대해 부정적일 가능성이 큽니다.
실제로 AI 조직을 만들 때
모델 개발 위주로 만들어서
이미 훨씬 저렴한 가격으로
더 우수한 모델을 사용할 수 있는데도
자체 모델을 고집하여
비즈니스 목적에서 이탈하는 경우가 많습니다.
4. 자체 호스팅 vs API 호출
AI 모델에 인풋을 넣어
아웃풋을 받는 과정을 추론이라고 합니다.
사용하는 모델에 따라
추론은 소유하고 있는
자체 컴퓨터에서 할 수도 있고
모델을 제공하는 회사의
서버를 통해 할 수도 있습니다.
자체적으로 하는 경우를
자체 호스팅을 한다 표현하고
원격으로 호출하는 경우
API를 활용한다 표현합니다.
일반적으로 규모의 경제로 인해
API 호출이 더 저렴합니다.
그래픽 카드나 AI용 하드웨어를 직접 사용하려면
초기 큰 비용을 투자해야 합니다.
(출처=게티이미지뱅크)
안정성도 API 형태가 더 좋습니다.
오류나 다운의 위험이 더 적습니다.
또 API는 종량제 과금을 따르기 때문에
아직 고정된 사용량이 없을 때
훨씬 저렴하게 도입할 수 있습니다.
하지만 자체 호스팅을
꼭 해야 하는 경우도 있습니다.
API를 사용하면 입력 내용이
제삼자 서버에 저장이 되고
학습에 활용이 될 수도 있습니다.
또 통신 과정에서 보안 구현이 부실한 경우
정보가 탈취될 가능성도 높습니다.
따라서 보안이 중요한 경우에는
자체 호스팅을 하는 것이 좋습니다.
5. 경량화 모델 vs
풀옵션 모델
대규모 언어모델에도
성능과 가격이 다른
여러 티어가 존재합니다.
또 아예 성능은 약간 떨어지지만,
경량화에 집중한 모델도 존재합니다.
작은 모델과 큰 모델은
태스크에 따라 아무런 차이가 없을 수 있고
반대로 아예 작은 모델로
구현이 불가능한 경우가 있을 수 있습니다.
작은 모델과 대규모 모델에
별 차이가 없는 태스크는
보통 꾸미는 작업입니다.
말을 예쁘고 부드럽게 하거나
맥락 속에서 정리된 데이터를
추출하거나 하는 부분은
작은 모델도 잘 수행합니다.
예를 들어 고객센터의 경우
실제 알아야 하는 내용은 매뉴얼에 있고
AI는 대화하는 것에만 집중하면 되기 때문에
경량 모델로도 잘 구현할 수 있습니다.
그에 비해 풍부한 지식과 정보를 바탕으로,
자체적으로 판단을 하여 응답해야 하는 경우에는
거대 모델이 적합할 수 있습니다.
6. 파인튜닝 vs RAG
파인튜닝은 AI 모델에
약간의 학습데이터를 더해서
조금 더 내가 원하는 방식으로
답하도록 만드는 것입니다.
그에 비해 RAG는
Retrieval Augmented Generation의 약자로
이미 정해진 자료에서 확정된 정보를 검색해 와서
답하도록 만드는 방식입니다.
안정성도 API 형태가 더 좋습니다.
오류나 다운의 위험이 더 적습니다.
또 API는 종량제 과금을 따르기 때문에
아직 고정된 사용량이 없을 때
훨씬 저렴하게 도입할 수 있습니다.
하지만 자체 호스팅을
꼭 해야 하는 경우도 있습니다.
API를 사용하면 입력 내용이
제삼자 서버에 저장이 되고
학습에 활용이 될 수도 있습니다.
또 통신 과정에서 보안 구현이 부실한 경우
정보가 탈취될 가능성도 높습니다.
따라서 보안이 중요한 경우에는
자체 호스팅을 하는 것이 좋습니다.
5. 경량화 모델 vs
풀옵션 모델
대규모 언어모델에도
성능과 가격이 다른
여러 티어가 존재합니다.
또 아예 성능은 약간 떨어지지만,
경량화에 집중한 모델도 존재합니다.
작은 모델과 큰 모델은
태스크에 따라 아무런 차이가 없을 수 있고
반대로 아예 작은 모델로
구현이 불가능한 경우가 있을 수 있습니다.
작은 모델과 대규모 모델에
별 차이가 없는 태스크는
보통 꾸미는 작업입니다.
말을 예쁘고 부드럽게 하거나
맥락 속에서 정리된 데이터를
추출하거나 하는 부분은
작은 모델도 잘 수행합니다.
예를 들어 고객센터의 경우
실제 알아야 하는 내용은 매뉴얼에 있고
AI는 대화하는 것에만 집중하면 되기 때문에
경량 모델로도 잘 구현할 수 있습니다.
그에 비해 풍부한 지식과 정보를 바탕으로,
자체적으로 판단을 하여 응답해야 하는 경우에는
거대 모델이 적합할 수 있습니다.
6. 파인튜닝 vs RAG
파인튜닝은 AI 모델에
약간의 학습데이터를 더해서
조금 더 내가 원하는 방식으로
답하도록 만드는 것입니다.
그에 비해 RAG는
Retrieval Augmented Generation의 약자로
이미 정해진 자료에서 확정된 정보를 검색해 와서
답하도록 만드는 방식입니다.
(출처=구글)
(참조 - 검색 증강 생성(RAG)이란 무엇인가요?)
컨설팅할 때 파인튜닝은
보통 추천하지 않습니다.
최근에 모델들의 입력사이즈가 커져서
훨씬 더 구체적인 지시를 할 수 있게 되었고
파인튜닝을 하지 않더라도
답변을 원하는 방향으로 하게
만들 수 있기 때문입니다.
이런 지시를 프롬프트 엔지니어링이라 하는데
프롬프트 엔지니어링으로
충분히 대체 가능하다고 생각합니다.
그에 비해 AI가 일반적인 정보가 아니라
반드시 우리 회사만이 가지고 있는 정보로
답변해야 할 때
RAG는 아주 유용한 도구가 될 수 있습니다.
앞서 고객 응대 매뉴얼대로 답하는 경우가
대표적인 예지만
회사만의 노하우가 담긴 법률 AI나
교육과정을 그대로 담은 교육 AI를
만든다고 할 때도
RAG는 무조건 사용해야 합니다.
RAG 구현에 있어 주의할 점은 게으름입니다.
현재 시중에 나와 있는 많은 RAG 설루션은
대충 집어넣으면 알아서 검색해준다가 컨셉인데
이런 방식으로는 품질이 좋은 AI를
만들 수는 없습니다.
도메인 지식에 적합한 자료구조와 알고리즘부터
차근차근 설계할 수 있는 엔지니어를 만나면
품질을 크게 개선할 수 있는데,
AI 엔지니어 중에 그런 학습 속도와 기본기를
동시에 가지고 있는 경우는 많지 않기 때문에
신중하게 선택해야 합니다.
(참조 - 검색 증강 생성(RAG)이란 무엇인가요?)
컨설팅할 때 파인튜닝은
보통 추천하지 않습니다.
최근에 모델들의 입력사이즈가 커져서
훨씬 더 구체적인 지시를 할 수 있게 되었고
파인튜닝을 하지 않더라도
답변을 원하는 방향으로 하게
만들 수 있기 때문입니다.
이런 지시를 프롬프트 엔지니어링이라 하는데
프롬프트 엔지니어링으로
충분히 대체 가능하다고 생각합니다.
그에 비해 AI가 일반적인 정보가 아니라
반드시 우리 회사만이 가지고 있는 정보로
답변해야 할 때
RAG는 아주 유용한 도구가 될 수 있습니다.
앞서 고객 응대 매뉴얼대로 답하는 경우가
대표적인 예지만
회사만의 노하우가 담긴 법률 AI나
교육과정을 그대로 담은 교육 AI를
만든다고 할 때도
RAG는 무조건 사용해야 합니다.
RAG 구현에 있어 주의할 점은 게으름입니다.
현재 시중에 나와 있는 많은 RAG 설루션은
대충 집어넣으면 알아서 검색해준다가 컨셉인데
이런 방식으로는 품질이 좋은 AI를
만들 수는 없습니다.
도메인 지식에 적합한 자료구조와 알고리즘부터
차근차근 설계할 수 있는 엔지니어를 만나면
품질을 크게 개선할 수 있는데,
AI 엔지니어 중에 그런 학습 속도와 기본기를
동시에 가지고 있는 경우는 많지 않기 때문에
신중하게 선택해야 합니다.
(출처=게티이미지뱅크)
AI 도입은 철저하게
비즈니스 의사 결정을 바탕으로 해야 합니다.
현실적이고 구체적인 목표를 세우고
일부 조직이 하던 방식,
하고 싶어 하는 방식이 아니라
최적의 방식을 선택해야 합니다.
그렇게 했을 때
도입 실패 확률을 크게 줄이고,
결국 AI는 성공적인 비즈니스 파트너로
거듭날 수 있을 것입니다.
AI 도입은 철저하게
비즈니스 의사 결정을 바탕으로 해야 합니다.
현실적이고 구체적인 목표를 세우고
일부 조직이 하던 방식,
하고 싶어 하는 방식이 아니라
최적의 방식을 선택해야 합니다.
그렇게 했을 때
도입 실패 확률을 크게 줄이고,
결국 AI는 성공적인 비즈니스 파트너로
거듭날 수 있을 것입니다.
