M4 — RTB 엔진 CTR 개선 시뮬레이션

controlled inputs only · 단일 Run · 광고 로그 기반 baseline vs RTB CTR 비교 · 정상 동작 기준: 개선 성공률 85% 이상

M4 — RTB 엔진 CTR 개선 시험 안내

동일한 광고 로그(노출 수·클릭 수·입찰 정보)를 baseline 입찰 정책과 RTB 엔진 정책에 각각 적용해 상품별 CTR을 산출하고, RTB CTR이 baseline CTR보다 높아진 상품의 비율을 측정한다. 실제 Amazon Advertising 연동 대신 Amazon-like 광고 로그 fixture를 쓰는 offline replay 환경이다.

무엇을 테스트하나요?

광고 로그 CSV를 입력으로, 같은 데이터에 baseline 정책과 RTB 정책을 적용해 상품별 CTR(클릭수/노출수)을 비교한다. RTB 엔진이 적합도 높은 노출에 입찰을 집중해 baseline 대비 클릭률을 끌어올리는지를 본다.

어떻게 진행되나요?

  1. Run(또는 업로드 파일로 Run)을 누른다.
  2. 광고 로그를 로드한다.
  3. baseline 정책으로 상품별 CTR을 산출한다.
  4. RTB 엔진 정책으로 상품별 CTR을 산출한다.
  5. 상품별 CTR을 비교해 improvement_success_rate를 계산하고 85% 기준과 비교한다.

어떤 결과가 나와야 하나요?

개선 성공률(%) = (RTB CTR > baseline CTR 인 상품 수 / 시험 대상 수)의 백분율. improvement_success_rate >= 0.85이고 mean_rtb_ctr > mean_baseline_ctr이면 PASS다.

매번 같은 값인가요?

아니다. Run은 live 모드라 실행마다 다른 시드로 표면 CTR 수치가 달라진다. 단 RTB의 구조적 우위는 유지되어 개선 성공률은 안정적으로 85% 이상을 만족한다. 재현이 필요하면 replay 모드를 쓴다.

업로드 파일은 fixture와 같은 CSV 스키마를 가져야 한다. 헤더 스키마가 다르면 실행하지 않고 즉시 오류를 보여준다.
Fixture CSV 보기 · Fixture CSV 다운로드

업로드 파일은 fixture와 같은 CSV 스키마를 가져야 한다. 헤더 스키마가 다르면 실행하지 않고 즉시 오류를 보여준다.


 





 
최근 runs

 

 

   run_idpresetstatuspass개선성공률
   개선상품/대상baseline CTRRTB CTRsourceresults