소개

이 서비스가 무엇인지, 내놓는 점수가 어디서 오는지 전부 적었습니다. 쓰는 데이터, 묻는 질문, 재는 척도, 그리고 이 방법으로 알 수 없는 것까지입니다.

무엇을 하는 서비스인가

카드를 만들기 전에 가상의 응답자에게 먼저 물어보는 곳입니다. 기획 중인 카드 시안을 넣으면, 조건으로 고른 응답자들이 시장에 이미 나온 신한카드와 나란히 놓고 답합니다. 몇 위인지, 어떤 집단이 유난히 반응하는지, 왜 그렇게 답했는지가 나옵니다.

대신하려는 것은 FGI(포커스 그룹 인터뷰)입니다. 사람 6~10명을 모아 몇 주에 걸쳐 하던 일을, 시안을 좁히는 앞단에서 몇 분 만에 여러 번 돌려 보는 것입니다. FGI 를 없애는 것이 아니라 그 앞에 두는 것입니다 — 여기서 추린 시안을 실제 사람에게 확인하는 순서입니다.

점수는 판단 전용 모델 Jev 가 매기고, 이유 문장은 Claude 가 씁니다. 응답자·카드·질문지·지난 결과는 모두 Oracle AI Database 26ai 한 곳에 들어 있고, 지난 결과를 뜻으로 찾는 것도 그 안의 벡터 기능을 씁니다.

1누가 답하나 — 응답자 100만 명

응답자는 저희가 지어낸 사람이 아니라 공개 데이터셋입니다. NVIDIA 가 배포하는 Nemotron-Personas-Korea 100만 명으로, 통계청(KOSIS)·대법원 성명 통계·건강보험공단 검진데이터·농촌경제연구원 식품소비조사를 근거로 성별·나이·지역·학력·직업·주거·혼인·가구 형태가 실제 한국 인구 분포에 맞게 생성돼 있습니다. 17개 시도, 252개 이상 시군구를 덮습니다.

조건을 고르면 이 100만 명에서 해당하는 사람을 뽑아 묻습니다. 한 명 한 명에게 따로 묻고, 그 답을 모아 평균을 냅니다.

출처 표기 의무가 있는 데이터입니다 — NVIDIA Nemotron-Personas-Korea, CC BY 4.0.

2무엇과 비교하나 — 카드 159종

신한카드 공식 상품페이지에서 개인카드 전종을 수집해 씁니다. 연회비·대표 혜택·전월실적 조건·발급 조건을 상품페이지 원문 그대로 가져옵니다. 카드마다 원문 링크를 걸어 두었으니 직접 대조하실 수 있습니다.

3무엇을 묻나 — Juster 구매의향 척도

순위를 정하는 질문은 언제나 하나입니다.

이 응답자가 앞으로 6개월 안에 이 카드를 발급받을 가능성은 어느 정도인가?

답은 자유 문장이 아니라 10단계 확률 척도 중 하나입니다. 마케팅 조사에서 구매 의향을 잴 때 쓰는 Juster 척도(원래 11단계)를 10단계로 줄인 것입니다. “사고 싶다/아니다” 같은 모호한 표현 대신 확률을 직접 고르게 하는 방식이라, 사람마다 다르게 해석할 여지가 적습니다.

  • 전혀 없음 0%
  • 매우 낮음 10%
  • 낮음 20%
  • 조금 있음 30%
  • 다소 있음 40%
  • 반반 50%
  • 상당히 있음 60%
  • 높음 70%
  • 매우 높음 80%
  • 거의 확실 90%+

화면의 점수는 이 10단계를 0~9점으로 옮긴 뒤 응답자 전체를 평균한 값입니다.

질문지를 얹으면 여기에 문항을 더 물을 수 있습니다. 한 사람에게 한 카드를 보여주고 발급 의향과 얹은 문항을 한꺼번에 묻기 때문에, 문항이 늘어도 물어보는 횟수는 그대로입니다. 다만 얹은 문항은 순위에 들어가지 않습니다 — 순위 잣대가 조사마다 바뀌면 지난 결과와 비교할 수 없기 때문입니다.

4어떻게 재나 — 점수와 이유를 나눠서

점수는 Jev 가 냅니다. 일반 대화형 모델과 달리 문장을 쓰지 않고 위 10개 선택지 위의 확률 분포만 돌려주는 모델입니다. 선택지가 고정돼 있어 결과를 그대로 수치로 쓸 수 있습니다.

재측정 편차
0.075
같은 입력을 5회 반복했을 때 점수가 흔들린 폭의 평균, 가장 커도 0.157 (2026-09-22 실측)
처리량
분당 2,000건
동시 50 기준
건당 비용
$0.000075
1,787토큰 기준

점수 옆의 이유 문장은 Claude Sonnet 4.5 가 따로 씁니다. 건당 값이 Jev 의 111배라 모든 응답자에게 묻지 않고, 보고 싶은 카드 한 장씩 그 카드에 점수를 높게 준 사람부터 낮게 준 사람까지 고르게 12명을 골라,Jev 가 준 점수의 이유를 묻습니다. 이유가 순위와 어긋나지 않게 하려는 것입니다. 그래서 결과 화면에서 “이유 보기”를 눌러야 문장이 나옵니다.

5어떻게 검증했나

실제 발급 실적과는 대조하지 못했습니다(아래 6). 대신 답이 맞는지 알 수 있는 것과 조건을 바꿔도 같은 답이 나오는지를 쟀습니다. 점수는 0~9 척도입니다.

확인한 것어떻게결과
상식에 맞나미성년 전용 카드를 성인 네 집단에 보여 준다네 집단 모두 하위 3위 안
다시 물어도 같나같은 사람 · 같은 카드에 5번흔들림 평균 0.075, 가장 커도 0.157
카드를 가르나한 집단 안에서 1등과 2등 카드가 겹치지 않는가네 집단 중 셋에서 갈린다. 60대 이상 무직은 차이가 작다
집단에 따라 달라지나집단을 바꾸면 “유독 좋아하는 카드”가 바뀌는가집단끼리 겹치는 것이 많아야 1장. 국민행복카드는 20대 −0.86, 60대 무직 +0.91
표현을 바꿔도 같나질문을 존댓말 · 짧게, 선택지를 숫자만 · 거꾸로카드 순서는 지켜진다 — 원래 0.09점 차이였던 두 장만 뒤집혔다. 점수 크기는 최대 0.58 움직인다. 그래서 순위에서 0.1점 이내는 오차 범위(≈)로 표시한다
문항을 많이 얹어도 같나질문지 20문항을 함께 물어도 발급 의향이 움직이는가+0.007 — 다시 물었을 때의 흔들림보다 작다. 카드 순서도 그대로

6이 방법으로 알 수 없는 것

가장 중요한 항목이라 숨기지 않고 적습니다.

  • 실제 발급 실적과 대조한 적이 없습니다. 카드별 실제 발급 수치는 공개되지 않아 이 점수가 현실과 얼마나 맞는지 검증하지 못했습니다. 절대값보다 시안들 사이의 순서를 비교하는 용도로 봐 주십시오.
  • 소득과 소비 데이터가 없습니다. 응답자에게 연봉·카드 사용액 정보가 없어, 혜택 한도나 전월실적 조건이 실제로 얼마나 부담인지는 추정에 가깝습니다.
  • 언어모델 설문에는 알려진 편향이 있습니다. 선택지 순서나 라벨에 따라 답이 체계적으로 달라진다는 연구가 보고돼 있습니다(Dominguez-Olmedo 외, 2023). 같은 조건을 반복 측정해 편차를 확인하는 이유가 이것입니다.
  • 사람 사이의 영향이 없습니다. 응답자는 서로 모르는 개인이며 입소문이나 유행 같은 전파 효과는 반영되지 않습니다.

가상 응답자의 반응이며 실제 시장 반응을 예측하지 않습니다. 여러 시안 중 어느 쪽을 살릴지 좁히는 데 씁니다.