측정 방법론

1. 측정 프로토콜

모든 측정은 고정된 구매자 질문 세트, 즉 고객이 실제로 AI 엔진에게 묻는 질문들에서 시작합니다. 세트를 고정하는 이유는 단순합니다. 질문이 측정 사이에 바뀌면 숫자를 비교할 수 없게 됩니다.

각 질문을 엔진마다 3회씩, 매주 같은 조건으로 묻습니다. AI 답변은 비결정적이어서 같은 질문이 한 시간 뒤에 다른 브랜드를 답하기도 합니다. 1회 측정은 측정이 아니라 일화입니다.

• 결과는 예/아니오가 아니라 빈도로 보고합니다. "인용됨"이 아니라 "3회 중 2회 인용"처럼요.
• 재측정은 매주, 같은 질문 세트와 같은 프로토콜로 돌립니다. 그래야 주간 변화가 실제 원인에 귀속됩니다.

2. 측정 대상 엔진

반복적으로, 신뢰할 수 있게 질의할 수 있는 엔진만 측정합니다. 측정할 수 없는 엔진을 어림값으로 채우지 않습니다.

• 현재 측정 중: ChatGPT·Gemini·Perplexity.
• 준비 중: Google AI Overviews. 아직 공식 API가 없습니다. 동일한 프로토콜 전체를 돌릴 수 있게 되는 시점에 추가하며, 그 전에는 추가하지 않습니다.

3. 2층 지표: 언급과 인용

점수 하나 대신 두 개의 층을 따로 추적합니다. 두 지표는 따로 움직이고, 필요한 작업도 다르기 때문입니다.

• 언급(Mention): 답변이 브랜드 이름을 말합니다.
• 인용(Citation): 답변이 당신 페이지를 출처로 겁니다.
• 이름은 나오는데 출처로는 안 걸리는 브랜드가 있고, 그 반대도 있습니다. 두 층을 분리해야 어느 레버를 당길지 알 수 있습니다.

4. Movability(이동 가능성) 추정

모든 질의가 움직이는 것은 아닙니다. 콘텐츠·엔티티 작업에 몇 주 안에 반응하는 질의가 있는가 하면, 애그리게이터나 굳어진 브랜드 인지도가 지배해 단기간에는 움직이기 어려운 질의도 있습니다.

질의별로 movability를 추정해 리포트에 라벨로 표기합니다. 움직이기 어렵다고 판단되면, 거기에 비용을 쓰시기 전에 그렇게 말씀드립니다.

5. 알려진 한계

비결정적 시스템의 측정에는 오차가 따릅니다. 저희는 오차를 감추기보다 드러내는 쪽을 택합니다.

• 개인화: 엔진은 계정과 맥락에 적응합니다. 저희는 깨끗한 세션에서 측정하지만, 실제 고객이 보는 답은 저희 기록과 다를 수 있습니다.
• 시점·버전 변동: 답변은 시간대와 조용한 모델 업데이트에 따라 흔들립니다. 매주 재측정으로 추세는 잡지만 변동 자체를 없앨 수는 없습니다.
• 표본 오차: 질의당 3회는 표본이지 전수가 아닙니다. 보고되는 빈도는 추정치입니다.
• 그래서 MentionUp 리포트의 모든 수치에는 높음·중간·낮음 신뢰도 라벨이 붙습니다.

6. 하지 않는 것

단기 숫자를 부풀리면서 브랜드를 엔진 페널티 위험에 노출시키는 수법들이 있습니다. 어떤 경우에도 쓰지 않습니다.

• 링크 구매를 하지 않습니다.
• 자작 블로그망(PBN)을 운영하지 않습니다.
• AI 콘텐츠 대량발행을 하지 않습니다.