챗봇을 붙이면 AI 서비스가 된다고 생각하시나요? 저도 한때 그렇게 믿었습니다. 그런데 실제 외주 프로젝트에서 사용자 컴플레인이 D7 기준 12건 쏟아지고 나서야 그 믿음이 완전히 틀렸다는 걸 알았습니다. 단순히 챗 박스를 붙이는 것과, 컨텍스트를 설계하는 것은 전혀 다른 일입니다.
챗봇이 AI 서비스가 된다는 착각
일반적으로 "AI를 제품에 붙인다"고 하면 가장 먼저 떠올리는 게 챗 UI(Chat UI)입니다. 여기서 챗 UI란 사용자가 자연어로 입력하고 AI가 텍스트로 응답하는 대화형 인터페이스를 말합니다. 구현이 쉽고 결과물이 눈에 보이다 보니 클라이언트 입장에서도 "챗봇 하나면 된다"는 식의 요청이 자주 들어옵니다.
문제는 챗봇이 모든 상황에 맞는 해결책이 아니라는 겁니다. 복잡한 내비게이션을 단순화하려고 챗봇을 붙이거나, 사용자 컨텍스트(context)가 전혀 없는 상태에서 대화를 시작하게 설계하면 오히려 경험이 나빠집니다. 여기서 컨텍스트란 AI가 응답을 생성할 때 참고하는 대화 이력, 사용자 데이터, 시스템 상태 전반을 뜻합니다. 이게 없으면 AI는 매번 처음 만난 사람처럼 행동합니다.
실제로 어떤 금융 앱에서는 챗봇이 이전 대화를 전혀 기억하지 못해 환불 요청을 며칠째 처음부터 다시 설명해야 하는 상황이 벌어지기도 했습니다. 반면 정형화된 폼(form) 기반 접수를 택한 앱에서는 하루 만에 동일한 문제가 해결됐습니다. 챗이 더 세련돼 보였지만 결과는 반대였습니다. 챗봇은 인텐트(intent) 포착이 불분명할 때 탐색 도구로는 쓸 수 있어도, 복잡한 업무 처리의 만능 해결사가 되긴 어렵습니다.
컨텍스트 설계 없이는 신뢰도가 무너진다
제가 직접 겪은 사례를 털어놓겠습니다. 직전 SaaS 외주에서 ChatGPT 통합 기능을 납품한 뒤 D7(런칭 7일째) 기준으로 "왜 이런 답이 나왔지?"라는 사용자 컴플레인이 12건 접수됐습니다. 기능 자체는 정상 작동하는데 사용자들은 납득을 못 하는 상황이었습니다.
문제는 AI 응답 카드(response card) 설계에 있었습니다. AI 응답 카드란 AI가 생성한 결과물을 화면에 표시하는 UI 단위를 가리킵니다. 이 카드에 왜 그런 답이 나왔는지, 어떤 데이터를 참고했는지, 신뢰도는 어느 정도인지를 전혀 표시하지 않았던 게 핵심 원인이었습니다. 사용자들은 AI를 믿지 못하는 게 아니라, 믿을 근거가 없었던 겁니다.
이 문제를 해결하기 위해 네 가지 패턴을 React 컴포넌트로 묶어 적용했습니다.
- 출처 펼침(source expansion): 응답 근거 데이터를 토글로 열어볼 수 있게 구성
- 신뢰도 배지(confidence badge): 모델이 응답을 얼마나 확신하는지 시각화
- 재생성 버튼(regenerate): 원하는 답이 아닐 때 즉시 다시 생성 가능
- 컨텍스트 요약 토글: AI가 어떤 맥락을 기반으로 응답했는지 요약 표시
이 네 가지를 적용한 뒤 같은 종류의 컴플레인이 0건으로 떨어졌습니다. 수치가 정확하다 보니 저도 솔직히 이건 예상 밖이었습니다. 기능이 아니라 투명성이 문제였다는 걸 데이터로 확인한 순간이었습니다.
AI가 생성한 결과물에 대한 사용자 신뢰는 결과의 정확도만으로 결정되지 않습니다. Nielsen Norman Group의 연구에 따르면 사용자는 시스템이 왜 그런 결정을 내렸는지 이해할 수 있을 때 신뢰도가 유의미하게 상승한다고 밝혀져 있습니다(출처: Nielsen Norman Group). 설명 가능한 AI, 즉 XAI(Explainable AI)가 UX 설계에서도 핵심 과제로 부상하는 이유가 여기에 있습니다.
Gen-Tweak 패턴과 인텐트 기반 설계
AI 통합에서 또 한 가지 자주 놓치는 게 생성과 수정의 흐름 설계입니다. 일반적으로 AI 버튼을 콘텐츠 입력 필드마다 하나씩 붙이는 방식이 흔한데, 제 경험상 이건 오히려 인터랙션 비용을 높입니다. 버튼이 많아질수록 사용자는 무엇을 눌러야 할지 판단하는 데 에너지를 씁니다.
이 문제를 해결하는 패턴이 Gen-Tweak(제너레이트-트윅)입니다. Gen-Tweak이란 전체 콘텐츠를 먼저 한 번에 생성한 뒤, 수정이 필요한 부분만 선택적으로 다시 생성하는 방식을 말합니다. Typeform이 이 패턴을 잘 구현한 사례로, 텍스트를 드래그하면 "더 간결하게", "다시 생성" 같은 옵션이 즉시 팝업됩니다. 이미지 편집 앱에서 특정 영역만 선택해 수정하는 인페인팅(inpainting)과 같은 원리입니다. Apple Mail의 Apple Intelligence 기능도 비슷한 방식으로 선택 영역의 톤을 조정하거나 교정합니다.
인텐트 기반 설계로 넘어가면 개념이 한 단계 더 세밀해집니다. 인텐트(intent)란 사용자가 지금 이 맥락에서 달성하려는 구체적인 목표를 뜻합니다. 단순히 "예약을 늘리고 싶다"는 비즈니스 목표와 다릅니다. "지금 내 호텔이 경쟁 대비 가격 경쟁력이 낮아 보이는 게 싫다"는 게 인텐트입니다. AI 패턴을 고를 때 이 수준의 인텐트를 먼저 정의해야 어떤 패턴이 적합한지 판단할 수 있습니다.
한국어 환경에서 추가로 검증해야 할 것들
영문 환경을 기준으로 정리된 AI UX 자료들이 많은데, 한국 서비스에 그대로 적용하면 예상치 못한 부분에서 막힙니다. 가장 크게 체감한 건 톤 분기 문제입니다. 동일한 ChatGPT 모델이라도 첫 응답이 "안녕하세요! 무엇을 도와드릴까요?" 대신 "야, 어떻게 도와줄까?"로 시작하면 사용자 신뢰도 평가가 완전히 달라집니다. 한국 사용자는 첫 인사 톤에서 서비스의 전문성을 판단하는 경향이 강합니다.
또 하나는 한국어 토큰 효율 문제입니다. 여기서 토큰(token)이란 LLM(대규모 언어 모델)이 텍스트를 처리하는 최소 단위를 뜻하는데, 한국어는 영어 대비 같은 의미를 전달할 때 더 많은 토큰을 소비합니다. 이는 API 비용과 응답 속도에 직접 영향을 미칩니다. 클라이언트와 모델 선택을 논의할 때 이 부분이 빠지면 나중에 비용 문제가 터집니다.
이런 경험들을 정리해서 지금은 매 외주 시작 시 클라이언트와 함께 점검하는 ChatGPT 통합 함정 체크 시트를 노션에 운영하고 있습니다. 8가지 항목을 체크박스 형식으로 구성했는데, 5년 차 프리랜서로 일하면서 가장 자주 꺼내는 도구 중 하나가 됐습니다. 국내 AI UX 가이드가 아직 부족한 상황에서 실무자들이 검증된 기준 없이 설계를 시작하는 경우가 많다는 걸 감안하면, 이런 평가 도구의 필요성은 앞으로 더 커질 것으로 보입니다. Gartner 리서치에 따르면 2026년까지 기업의 80% 이상이 AI 지원 애플리케이션을 도입할 것으로 전망됩니다(출처: Gartner). 설계 기준을 미리 갖춰두지 않으면 그만큼 문제가 반복될 가능성이 높습니다.
AI 통합을 챗 박스 하나로 끝내던 시각에서 벗어나, 컨텍스트 분기 그래프로 전체 흐름을 그리는 방식으로 바뀐 것이 지금 작업 방식에서 가장 크게 달라진 부분입니다. 어떤 AI 패턴을 쓸지 결정하기 전에, 사용자의 인텐트가 무엇인지부터 언어로 정의해 보시길 권합니다. 그 한 줄이 컴포넌트 설계 방향을 완전히 바꿔놓을 수 있습니다.
참고: https://www.youtube.com/watch?v=L9ege2jCiPc