제품 분석 툴 하나를 두고 팀이 두 파로 갈린 적이 있습니다. Mixpanel을 계속 쓰자는 쪽과 PostHog 셀프호스트로 전환하자는 쪽이 워크숍에서 정면으로 부딪혔습니다. 저는 그 자리에서 6개월치 ROI 매트릭스를 직접 뽑아 양쪽을 중재했고, 결국 PostHog 셀프호스트로 합의를 이끌어냈습니다. Amplitude를 제대로 쓰고 싶다면, 툴 하나를 고르는 것보다 어떤 기준으로 분석 플랫폼을 운영할지 먼저 정해야 한다는 걸 그때 배웠습니다.
ROI 분석: 툴 선택 전에 숫자부터 보세요
솔직히 처음에는 Amplitude가 가장 먼저 떠올랐습니다. UI도 깔끔하고, 코드 한 줄로 설치가 된다는 점이 인상적이었습니다. 실제로 Amplitude는 웹사이트 헤드 태그에 스니펫 하나를 붙이면 세션 추적이 바로 시작됩니다. 이벤트 트래킹(Event Tracking)이란 사용자가 버튼을 클릭하거나 페이지를 이동할 때 그 행동 데이터를 자동으로 수집하는 방식인데, 별도 개발 공수 없이 이걸 구현한다는 건 스타트업 입장에서 꽤 매력적인 조건입니다.
그런데 문제는 비용이었습니다. 저는 6개월 ROI 매트릭스를 직접 작성하면서 라이선스 절감분과 운영 비용을 항목별로 쪼갰습니다. Amplitude 무료 플랜은 기본 기능만 제공하고, 플러스 플랜은 월 $49부터 시작합니다. 반면 PostHog 셀프호스트는 라이선스 비용이 없는 대신 시니어 엔지니어 주 2시간의 운영 비용이 발생합니다. 계산해보면 외주 2건 기준으로 분기당 평균 $1,800 절감이 나왔습니다. 단순히 툴이 좋냐 나쁘냐의 문제가 아니라, 팀의 운영 능력과 예산 구조에 따라 답이 달라집니다.
Amplitude는 프리미엄 기능인 세션 리플레이(Session Replay)와 히트맵(Heatmap)을 상위 플랜에서만 제공합니다. 이 두 기능 없이는 사용자 행동의 '왜'를 파악하기 어렵습니다. 이걸 감안하면 실제 도입 비용은 $49보다 훨씬 높아질 수 있습니다.
셀프호스트 운영: ROI보다 운영 책임이 먼저입니다
PostHog 셀프호스트로 전환하면서 제가 가장 강조한 것은 분기별 운영 점검 체계였습니다. ROI는 좋지만, 운영 책임을 직접 지는 구조인 만큼 사고가 났을 때 복구 비용이 만만치 않습니다. 제 경험상 데이터 백업·암호화·접근 권한, 이 세 가지를 분기마다 반드시 점검해야 합니다. 이걸 빠뜨리면 사고가 분기당 1건씩 발생한다고 봐도 과언이 아닙니다.
여기서 데이터 거버넌스(Data Governance)란 조직 내 데이터를 누가, 어떻게, 어떤 기준으로 관리하는지 정의하는 운영 체계를 의미합니다. Amplitude 같은 SaaS 툴은 이 거버넌스를 플랫폼이 대신 처리해주지만, 셀프호스트 환경에서는 운영팀이 직접 설계해야 합니다. 저는 합의 이후 운영 매뉴얼을 별도로 작성했고, 현재 외주 2건에서 6분기 연속 사고 0건을 유지하고 있습니다. 이 숫자가 단순한 자랑이 아닌 이유는, 셀프호스트 환경에서 6분기 무사고는 운영 체계가 제대로 돌아간다는 증거이기 때문입니다.
한국 시장에서 셀프호스트를 운영할 때 한 가지 더 챙겨야 할 것이 있습니다. 개인정보보호법(PIPA) 적합성 검토입니다. 세션 리플레이는 사용자의 클릭, 스크롤, 입력 행동을 영상처럼 기록하는 기능인데, 이 데이터가 개인정보에 해당할 경우 보관 기간과 암호화 방식을 법적 기준에 맞게 설정해야 합니다. 개인정보보호위원회는 수집 목적에 부합하는 최소한의 데이터만 처리하도록 요구하고 있습니다(출처: 개인정보보호위원회).
Amplitude 핵심 기능: 어디서부터 봐야 하나
Amplitude를 처음 열면 인터페이스가 생각보다 깔끔합니다. 대시보드 중심으로 구성되어 있고, 주요 기능이 사이드바에 정리되어 있습니다. 처음 쓰는 분들이 헷갈리는 부분은 기능이 많아서가 아니라 어디서 시작해야 할지 모른다는 점입니다. 제가 직접 써보면서 실무에서 실제로 쓰게 되는 기능을 추려보면 다음과 같습니다.
- 이벤트 분석(Product Analytics): 사용자가 어떤 기능을 얼마나 쓰는지 확인하는 핵심 분석 영역입니다.
- 퍼널 분석(Funnel Analysis): 회원가입이나 결제 같은 전환 흐름에서 어느 단계에서 이탈이 일어나는지 파악합니다.
- 리텐션 분석(Retention Analysis): 처음 유입된 사용자가 일정 기간 후에도 돌아오는지 측정하는 지표입니다. 여기서 리텐션이란 고객 유지율을 뜻하며, 제품의 장기 성장 가능성을 판단하는 핵심 수치입니다.
- 세션 리플레이(Session Replay): 실제 사용자의 화면 흐름을 녹화처럼 재생합니다. 숫자만으로는 보이지 않는 UX 문제를 찾을 때 유용합니다.
- Ask Amplitude(AI 어시스턴트): 자연어로 질문하면 차트와 리포트를 자동 생성해주는 기능입니다. 분석에 시간을 많이 쓰는 팀이라면 체감 효율이 큽니다.
이 중에서 퍼널 분석과 리텐션 분석은 제품 팀이 가장 먼저 설정해야 할 지표입니다. 2024년 기준 글로벌 SaaS 기업의 평균 월간 리텐션 리포트 활용률은 제품 분석 도구 사용 기업의 약 72%에 달한다는 조사 결과가 있습니다(출처: Product-Led Alliance).
분기 거버넌스: 툴 도입이 끝이 아닙니다
제가 외주 클라이언트에게 매 분기 운영 점검 보고서를 제공하는 이유는 단순합니다. 툴을 설치하는 건 하루면 끝나지만, 그걸 데이터 자산으로 만들려면 분기 단위의 관리 루틴이 필요하기 때문입니다. 저는 분기 거버넌스를 세 가지 축으로 운영합니다.
- 라이브러리 갱신: 트래킹 이벤트 스키마가 제품 변화에 맞게 업데이트되었는지 확인합니다.
- 사용자 만족도 측정: 세션 분석 데이터와 인앱 서베이(In-app Survey) 결과를 연결해 실제 사용자 경험을 수치화합니다.
- 클라이언트 정기 보고: 분석 결과를 맥락과 함께 전달해 다음 분기 의사결정에 반영될 수 있도록 합니다.
인앱 서베이란 사용자가 제품을 사용하는 도중에 팝업 형태로 뜨는 짧은 설문을 뜻하는데, Amplitude의 가이드 앤 서베이(Guides & Surveys) 기능이 이걸 지원합니다. 특정 행동을 트리거로 설문이 발동되기 때문에 응답률이 일반 이메일 설문보다 훨씬 높습니다.
이 세 가지를 묶어 운영하면 단순한 도구 도입이 아닌 지속 가능한 분석 자산으로 정착됩니다. 저는 이 루틴을 6분기 동안 유지하면서 분기당 $1,800 절감과 사고 0건을 동시에 검증했습니다. 숫자 자체보다, 이 루틴이 없었다면 어느 시점에 반드시 사고가 났을 거라는 확신이 더 의미 있습니다.
Amplitude가 좋은 툴인 건 맞습니다. 하지만 어떤 분석 플랫폼을 쓰든, 운영 체계 없이 설치만 해두는 건 반쪽짜리 도입입니다. 도입 전에 ROI를 계산하고, 분기마다 데이터 거버넌스를 점검하고, 클라이언트에게 맥락 있는 보고서를 전달하는 것. 이 세 가지가 갖춰져야 툴이 비로소 자산이 됩니다. Amplitude를 처음 검토하신다면 무료 플랜부터 시작해서 퍼널과 리텐션부터 설정해보시길 권합니다. 거기서 나오는 숫자가 다음 의사결정의 근거가 됩니다.