수정 전후 A/B 측정하기

A/B 측정은 사이트를 수정한 날을 기준으로 수정 전과 수정 후의 같은 길이 기간을 비교하는 기능입니다. 제목을 변경하거나 버튼 문구를 고친 뒤 문의가 늘었는지, 어느 항목이 달라졌는지 숫자로 확인합니다. 화면 제목은 개선 효과입니다.

시작하기 전에#

• 수정 내역을 추가하려면 사이트 설정을 변경할 수 있는 권한이 필요합니다. 권한이 없으면 조회만 할 수 있습니다.
• 방문과 문의 데이터가 수집되고 있어야 비교할 숫자가 생깁니다. 설치 코드 추가하기와 개인정보 처리위탁 계약서 서명하기를 완료합니다.
• 이 화면은 두 시점의 숫자를 비교할 뿐 수정이 원인이라고 단정하지 않습니다. 같은 기간에 광고비나 방문이 크게 달라졌는지 외부 요인도 함께 확인합니다.

순서#

1. 사이트 > 분석 > A/B 측정을 선택합니다.
2. 처음이면 “첫 수정 내역을 등록해 보세요.” 화면에서 수정 내역 추가를 선택합니다. 이미 수정 내역이 있으면 오른쪽 위 수정 내역 추가를 선택합니다.
3. 팝업에서 수정 적용일을 선택합니다. 변경 내용이 하루 종일 적용된 첫날을 선택합니다. 오후에 변경했다면 다음 날을 선택합니다. 날짜를 선택하면 ○○까지 수정 전 / ○○부터 수정 후로 기준이 표시됩니다.
4. “변경한 내용을 모두 입력해 주세요.”에 수정한 내용을 입력합니다. 줄바꿈으로 여러 변경 사항을 구분할 수 있습니다. 최대 2,000자입니다.
5. 완료된 수정 요청이 있으면 완료된 수정 요청에서 선택에서 선택해 날짜와 내용을 가져올 수 있습니다.
6. 효과 확인 시작을 선택합니다.
7. 수정 적용일 다음 날부터 첫 비교가 가능합니다. 그 전에는 “○○부터 첫 비교를 볼 수 있습니다.”가 표시됩니다.

수정 내역 추가 팝업

결과 읽는 법#

개선 효과 화면

비교 조건 정하기#

• 비교할 수정에서 비교할 수정 내역을 선택합니다. 수정 내역 편집으로 날짜와 내용을 고칠 수 있습니다.
• 전체, 모바일, PC로 기기별 비교를 선택합니다. 모바일과 PC의 반응이 다를 때 사용합니다.
• 비교 길이는 최대, 7일, 14일, 28일 중에서 선택합니다. 최대는 수정 적용일부터 어제까지(다음 수정 내역이 있으면 그 전날까지)를 사용합니다. 수정 전 기간은 수정 후와 같은 길이로 바로 앞 기간을 사용합니다.
• 수정 전과 수정 후에 각각 비교하는 날짜 범위와 일수가 표시됩니다.

결과 요약#

이번 수정 결과에는 “좋아진 항목이 있습니다.”, “나빠진 항목이 있습니다.”, “개선과 악화가 함께 나타났습니다.”, “아직 달라진 항목이 없습니다.” 중 하나가 표시됩니다. 아래 네 칸은 다음과 같습니다.

항목별 표#

탭에서 전체, 유입, 문의 폼, 채팅, 문의 결과, 광고, 히트맵 · 클릭, 히트맵 · 움직임, 히트맵 · 스크롤, 방문 기록 재생을 선택합니다. 표의 열은 항목, 수정 전, 수정 후, 차이, 판정입니다. 판정은 좋아짐, 나빠짐, 차이 없음, 판단 보류 중 하나입니다.

• 달라진 항목만을 선택하면 변화가 있는 항목만 표시됩니다.
• 항목을 선택하면 날짜별 비교와 요소별 비교, 수정 전후의 최근 방문 기록 다시 보기가 표시됩니다.
• 평소 변동폭보다 크게 달라진 항목만 판단합니다. 수정 전후 합계가 20건 미만이면 판단을 보류합니다.

수정 기록#

화면 아래 수정 기록 표에서 지금까지 등록한 수정 내역을 수정일, 수정 내용, 상태, 비교 길이로 확인합니다. 상태는 비교 중과 비교 가능이고 비교 길이는 각 ○일 또는 측정 중입니다. 줄을 선택하면 그 수정의 결과로 이동합니다.

이후에는#

수정 결과를 확인한 뒤 그대로 둠, 더 고침, 되돌림 중 판단을 남겨 두면 나중에 같은 수정을 돌아볼 때 근거가 됩니다. 이 판단은 화면 버튼이 아니라 AI에게 요청해 남깁니다. 요청 방법은 AI에게 일 시키기에서 확인합니다.

안 될 때#

관련 글#

• 히트맵과 방문 기록 재생 확인하기
• 방문 분석 읽기
• 수정 요청 보내기
• 사이트 진단으로 문제 찾기