[Weekly Paper 10] A/B테스트, 이벤트 텍소노미, 유저 로그 설계

Q : A/B 테스트의 장점과 단점, 그리고 단점을 해결하기 위한 방안들을 설명해 주세요.

A/B테스트는 통제된 환경에서 두 가지(또는 그 이상)의 변수를 비교하여 정량적 데이터를 통해 어느 것이 더 나은지 명확히 확인할 수 있으며, 사용자 중심의 개선에 기여한다는 점에서 장점이 있습니다. 또한 변경 사항을 전체 사용자에게 적용하기 전에 일부 사용자 그룹에서 테스트하여 리스크를 감소시킬 수 있습니다.

하지만 초기 기대감으로 비정상적인 데이터가 발생하는 신기 효과의 발생, 사용자가 변화에 적응하지 못한 데이터 반영 가능성 존재, 초반 샘플 크기가 작아 비교적 큰 통계적 변동성 발생, 외부 요인이 데이터에 영향을 중 가능성 존재 등의 단점이 존재하며, 초반 일정 기간을 제외하는 안정세 기간을 설정하고, 주요 지표를 시계열 분석으로 지속적으로 확인하여 안정화 되는지 체크하거나, A/A테스트를 통해 동일 조건으로 텍스트하여 초기 데이터를 평가하고, 통계적 유의성을 위해 충분한 샘플을 확보하는 방안 등으로 이러한 단점들을 보완할 수 있습니다.

 

Q : A/B 테스트 결과에서 한 버전이 통계적으로 유의미하게 더 나은 결과를 보여주지 않는다면, 이를 어떻게 해석하고 다음 단계는 무엇인가요?

우선 판단을 내리기 전에 데이터를 재검토 한다. 충분한 샘플 크기가 확보되었는지, 신뢰 구간이 적절한지 다시 검토하고, 이상치나 데이터 누락, 측정 오류 등을 점검한다. 이후 검증하려고 했던 가설을 기각하고 새로운 가설을 세워 새로운 실험을 설계(ex. 버튼 색상 변경이 아닌 위치 변경으로 실험을 다시 설계한다.)하거나, 기존 가설에서 새로운 안을 기획하여 재실험을 진행(ex. 버튼 색상을 녹색으로 바꿔 재실험)할 수 있다. A/B테스트는 일회성이 아닌 반복을 통해 지속적으로 개선을 해 나가는 방법론이므로 새로운 가설, 새로운 방안을 기획하여 지속적으로 서비스를 개선한다.

 

 

Q : 이벤트 데이터 로그 설계(Event Taxonomy)의 주요 구성 요소는 무엇이며, 각 요소가 어떤 역할을 하는지 설명해 주세요.

 

이벤트 데이터 로그 설계의 주요 구성 요소는 Event, Attribute, Trigger입니다. Event는 '어떤 행위에 대한 로그인지'를 나타내는 요소이며, Attribute는 Event의 부가 속성으로 '관련해서 어떤 정보들을 함께 저장해야 하는가'를 나타냅니다. 그리고 Trigger는 '해당 로그 데이터를 어느 시점에 발생시켜야 하는지'를 나타내는 요소입니다.