모바일 앱 분석 회사인 ‘App Annie’에 따르면 스마트폰 사용자들은 월평균 30개의 앱을 사용하고 이들의 스마트폰에는 약 90개의 앱이 설치되어있다고 한다. 이는 매일 많은 숫자의 앱들이 업데이트될 필요성이 있다는 이야기기도 하다. 앱 개발자들이 평균적으로 1~2주에 한 번씩 버그 수정, 앱 성능 개선, 새로운 기능 추가 등의 여러 가지 이유로 새 버전의 앱을 출시하기 때문에 스마트폰에 설치된 앱들은 지속해서 업데이트가 되어야 한다. 이러한 업데이트의 궁극적인 목표는 앱을 더 좋은 방향으로 발전시키기 위해서다. 그렇다면 업데이트의 방향이 좋다는 것은 무엇을 통해서 알 수 있을까?

이를 위해 하나의 가상의 예를 들어보자. 가상의 스타트업 A가 방금 새 버전의 앱을 출시했는데 개발자의 실수로 본인 확인 과정에서 버그가 생겼다. 그 때문에 앱을 새로 설치한 사람들의 신규 회원가입이 불가능한 상황이 발생했다. 문제 상황을 인지한 이후에 스타트업 A는 최대한 빨리 다음 업데이트를 통해 앱 내에 발생한 버그를 없애고 신규 이용자가 정상적으로 회원가입과정을 마칠 수 있도록 할 것이다. 이 과정에서 중요한 점은 문제가 실질적으로 해결됐는지 검증할 석세스 메트릭(Success Metric)을 제대로 설정하는 것이다.

석세스 메트릭이란 업데이트의 성공 여부를 판단할 기준이 되는 수치를 의미한다. 위의 예에서는 회원 전환율을 석세스 메트릭으로 설정할 수 있다. 회원가입 과정에서 발생한 버그 때문에 처음 앱을 방문한 사람은 성공적으로 회원가입 과정을 마칠 수 없었다. 이는 문제가 발생한 해당 기간 동안의 회원 전환율이 0%라는 이야기다. 만약 다음 업데이트 출시 후에 이 수치가 0%에서 30%로 증가한다면 문제가 제대로 해결되었다는 것을 확인할 수 있다.
이처럼 새로운 기능을 추가하고 버그를 수정하는 것도 매우 중요하지만 이런 변화들이 실질적으로 제품에 긍정적인 영향을 끼치는지 확인할 수 있는 제대로 된 석세스 메트릭을 설정하는 것이 더 중요하다. 제품을 잘 개발했더라도 긍정적인 결과로 이어지는지를 확인할 방법이 없다면 큰 낭패이기 때문이다. 따라서 많은 개발자 혹은 프로덕트 매니저는 제품 개발 전에 제품의 성공을 측정할 석세스 메트릭을 미리 설정한다. 그 후 제품 개발에 착수하고 석세스 메트릭을 만족시킬 시 모든 제품 개발 과정이 끝났다고 생각하고 다음 단계로 쉽게 넘어갈 수 있다. 그러나 이는 자칫하면 큰 실수로 이어질 수 있다.

필자의 과거 경험을 예로 들어보자. 필자가 과거 스타트업을 운영할 당시에 제품을 처음으로 런칭하고 많은 회원으로부터 제품에 관한 많은 피드백을 받았다. 많은 회원이 기존의 제품에 추가적인 기능을 원해서 최대한 짧은 시간 안에 다양한 기능을 출시하는 것을 목표로 했다. 많은 노력 끝에 추가적인 기능들을 모두 성공적으로 출시를 했고 한시름 놓았다고 생각했지만, 진짜 문제는 그때 발생했다. 단기간에 출시하는 것을 주요 과제로 삼았기 때문에 각 기능에 대한 테스팅을 철저히 할 수 없었고 이는 수많은 버그를 발생으로 이어져 오히려 제품의 질을 현저히 떨어트렸다.

여기서 주목할 점은 석세스 메트릭을 충족시켰으나 오히려 제품은 퇴보한 경우가 존재할 수 있다는 것이다. 이러한 상황을 방지하기 위한 것이 바로 카운터 메트릭(Counter Metric)이라는 개념이다. 페이스북에서 제품 디자인 책임자로 일하는 줄리 주오에 따르면 “하나의 성공 지표마다 그에 상응하는 카운터 메트릭을 만들어야 완성도가 높은 제품을 만들 수 있다”고 한다. 그가 말하는 카운터 메트릭은 석세스 메트릭을 만족시키기 급급하여 실제품의 질과 같은 다른 중요한 부분에 악영향을 끼치고 있는지를 확인할 수 있는 지표다. 필자의 경우에는 단기간에 많은 숫자의 기능을 추가하는 것이 석세스 메트릭이었다면 발생한 버그의 숫자는 카운터 메트릭이었다고 볼 수 있다.

석세스 메트릭과 카운터 메트릭은 개발자가 당면한 과제에 급급하여 나온 실수 때문에 더 큰 위기에 빠지는 것을 막아주는 역할을 한다. 소탐대실이라는 사자성어처럼 작은 것을 탐하다가 큰 것을 잃는 것을 항상 경계하고 스타트업 혹은 제품이 정확한 방향으로 나아가는지를 카운터 메트릭을 통해 지속해서 확인해야 한다.

ⓒ 한경닷컴, 무단전재 및 재배포 금지