A/B 테스트 시작하고 적용하기

A/B 테스트는 기존 광고(A안)와 한 가지만 다르게 만든 광고(B안)를 함께 게재해 어느 쪽이 유효 리드를 더 싸게 얻는지 비교하는 방법입니다. 이 글에서는 B안을 만들어 테스트를 시작하고, 결과를 확인해 우세한 안을 적용하는 방법을 설명합니다.

시작하기 전에#

• 오토파일럿에서 제공하는 화면입니다. 요금제는 요금제 변경하기를 참고합니다.
• 테스트할 사이트에 광고 계정이 연결되어 있고 광고가 동기화되어 있어야 합니다. 연결은 광고 연동하기와 광고를 사이트에 연결하기를 참고합니다.
• 테스트는 한 번에 한 가지 항목만 변경할 수 있습니다. 소재, 광고 문구, 타겟팅 중 하나를 선택합니다. 한 번에 여러 항목을 변경하면 어느 항목이 결과를 만들었는지 알 수 없기 때문입니다.
• 판정은 유효 DB 단가를 기준으로 합니다. 유효 DB는 리드 검증에서 확인됨으로 판정된 리드입니다. 결과를 믿을 수 있을 만큼 유효 리드가 쌓여야 판정이 나옵니다.
• B안 소재는 소재 라이브러리에서 선택합니다. 소재가 없으면 광고 소재 올리기에서 먼저 올립니다.
• 소재 테스트에서 매체에 따라 테스트용 일 예산이 필요하고, 타겟팅 테스트는 새 광고그룹의 일일 예산이 필요합니다. 예산을 쓰는 테스트는 시작하기 전에 승인이 필요할 수 있습니다.

순서#

B안 만들어 테스트 시작하기#

1. 애드스페이스 왼쪽 메뉴에서 AI 마케터 > AI 최적화를 선택하고 A/B 테스트 생성 탭을 선택합니다.

2. **사이트를 선택해 주세요.**라는 안내가 표시되면 테스트할 사이트를 선택합니다. 새 A/B 테스트 아래에 매체 탭이 표시됩니다.

   A/B 테스트 생성 화면. 매체를 선택하고 변경할 항목, 기존 광고, B안을 정합니다.

3. 테스트할 매체를 선택합니다. 구글, Meta, 카카오, 네이버, 틱톡, 당근 중 연결된 매체만 사용할 수 있습니다. 연결되지 않은 매체에는 미연결이 표시되고, 광고 연결 열기로 연결 화면으로 이동합니다.

4. 1. 변경할 항목 선택에서 소재, 광고 문구, 타겟팅 중 하나를 선택합니다. 항목 옆에 직접이 표시되면 DID에서 B안을 만들 수 없는 항목입니다. 아래 매체에서 B안을 직접 만든 경우를 참고합니다.

5. 2. 기존 광고 선택에서 비교할 원본 광고(A안)를 선택합니다. 타겟팅 테스트는 기존 광고그룹 선택이 표시되고 광고그룹에 속한 광고 수가 함께 복제됩니다. 아래에 선택한 광고의 캠페인과 광고그룹이 표시됩니다.

6. 3. B안 소재 정하기에서 변경할 내용을 정합니다. 항목에 따라 B안 광고 문구 정하기, B안 타겟팅 정하기로 표시됩니다. 변경하지 않은 항목은 원본 설정이 유지됩니다.

   • 소재는 라이브러리에서 선택을 선택해 B안 소재를 지정합니다. 광고 문구, 타깃, 예산은 원본과 같습니다.
   • 광고 문구는 칸마다 글자 수 제한이 표시됩니다. 여러 문구는 한 줄에 하나씩 입력합니다. 제한을 넘기면 **N자 이내로 써 주세요.**라는 안내가 표시됩니다.
   • 타겟팅은 연령, 성별, 기기, 키워드를 변경합니다. 원본과 같게를 선택한 항목은 그대로 유지됩니다. 지역과 관심사는 광고 관리자에서 변경합니다.

7. 아래 표의 **A안 (원본)**과 B안 열에서 변경되는 내용을 확인합니다. B안 칸이 원본과 같음이면 변경하지 않는 항목입니다.

8. 아래 입력 영역에서 테스트 기간을 일 단위로 입력합니다. 3일에서 60일 사이로 입력합니다. 일 예산 칸이 표시되면 테스트 일 예산 또는 새 광고그룹 일일 예산도 입력합니다. 원본의 예산이 안내 문구로 표시되며 정확한 비교를 위해 같은 예산을 권장합니다.

9. B안 만들기를 선택합니다.

   • 승인이 필요한 경우 **승인을 요청했습니다. 승인 후 B안을 생성합니다.**라는 안내가 표시됩니다. 승인은 AI 요청 승인하고 거절하기를 참고합니다.
   • 바로 생성되면 **○○에 B안을 생성했습니다. 매체 심사 후 광고가 게재됩니다.**라는 안내가 표시되고 A/B 테스트 결과 탭으로 이동합니다.

매체에서 B안을 직접 만든 경우#

네이버의 소재 테스트, 당근의 지역 타겟팅과 검색광고처럼 DID에서 B안을 만들 수 없는 항목은 직접 등록으로 표시됩니다. 매체의 광고 관리자에서 B안을 만든 뒤 등록합니다.

1. 1. B안용 UTM 만들기에서 랜딩 URL을 입력하고 자동 채우기를 선택합니다. utm_source, utm_medium, utm_campaign, utm_content를 입력합니다. utm_content는 A안과 다른 값을 입력해야 성과를 구분할 수 있습니다.
2. 최종 URL의 복사를 선택합니다.
3. 2. ○○ 광고 관리자에서 B안 만들기의 광고 관리자 열기를 선택합니다. 원본 광고를 복제하고 한 항목만 변경한 뒤 랜딩 URL에 복사한 주소를 입력하고 저장합니다.
4. 3. 만든 B안 고르기에서 매체에서 만든 B안을 선택하고 비교 기간을 입력합니다.
5. A/B 테스트 등록을 선택합니다. 확인창에서 두 광고를 A/B 비교 대상으로 등록한다는 안내와 광고 게재 상태는 변경되지 않습니다. 문구를 확인하고 등록을 선택합니다.

UTM 값 규칙은 UTM 규칙 설정하기를 참고합니다.

결과 확인하고 적용하기#

1. A/B 테스트 결과 탭을 선택합니다. 위쪽 카드에서 적용 대기, 진행 중, 판단할 데이터가 부족합니다., 종료(최근 30일) 개수를 확인합니다. 종료를 제외한 카드를 선택하면 해당 상태의 테스트만 표시되고, 다시 선택하면 해제됩니다.

2. 테스트 목록에서 행의 화살표를 선택해 펼칩니다. 행에는 캠페인, 광고세트, 비교 대상, 매체와 비교 항목, 진행 일수, A안 유효 DB 단가, B안 유효 DB 단가, 판정이 표시됩니다.

   A/B 테스트 결과 화면. 펼친 행에 A안과 B안의 유효 DB 단가, 클릭률, 광고비와 판정이 표시됩니다.

3. 펼친 영역에서 A안과 B안의 유효 DB 단가, 유효 DB, 클릭률, 광고비를 비교합니다. 우세한 쪽에는 우세가 표시됩니다. 판정 문장은 다음 중 하나입니다.

   • B안의 유효 리드당 비용이 낮으면 **B안으로 변경할 수 있습니다.**라는 안내가 표시됩니다.
   • A안의 유효 리드당 비용이 낮으면 **A안을 유지하는 것이 좋습니다.**라는 안내가 표시됩니다.
   • 차이가 크지 않으면 **두 광고의 유효 리드당 비용은 큰 차이가 없습니다.**라는 안내가 표시됩니다.
   • 데이터가 적으면 **유효 리드 N건이 수집됐습니다. 결과를 판단하려면 N건이 더 필요합니다.**라는 안내가 표시됩니다.

4. B안이 우세하면 B안 적용을 선택합니다. B안을 적용하시겠습니까? 확인창에서 B안 적용을 선택하면 A안을 중지하고 B안만 게재합니다.

5. 계속 진행할 필요가 없으면 테스트 종료를 선택합니다. 테스트를 종료하시겠습니까? 확인창에서 테스트 종료를 선택하면 B안을 중지하고 A안은 유지합니다.

이후에는#

• 승인이 필요한 적용과 종료는 **승인을 요청했습니다.**라는 안내가 표시되고 승인한 뒤 실행됩니다. 적용하면 B안을 적용하고 A안을 중지했습니다., 종료하면 **테스트를 끝냈습니다.**라는 안내가 표시됩니다.
• 매체 자체 실험이 있는 매체(메타, 구글, 틱톡)는 매체 A/B 실험으로, 그 밖의 매체는 A안 옆에 B안을 함께 게재하는 동시 게재로 진행됩니다. 직접 등록한 경우는 직접 등록한 B안으로 표시됩니다.
• B안이 새로 생성되면 매체 심사를 거칩니다. 심사 중에는 **B안이 광고 매체 심사 중입니다.**라는 안내가 표시됩니다.
• AI도 AI 자동화의 B안 생성 설정에 따라 이긴 광고에 다음 테스트를 제안합니다. 설정은 AI 자동화 범위 정하기를 참고합니다.
• 최적화 효과는 AI 최적화 성과 확인하기에서 확인합니다.

안 될 때#

관련 글#

• 광고 소재 올리기
• UTM 규칙 설정하기
• AI 자동화 범위 정하기
• AI 최적화 성과 확인하기