서비스 소개
서비스를 만든 이유, 카드 제작 과정, 자동 판정 정확도, 서비스의 범위와 한계를 적었어요.
서비스 개요
제품에 ‘AI’라고 적힌 문구를 회사가 공개한 자료와 맞춰 보는 서비스예요. 판매페이지, 각주, 설명서, 공공 데이터베이스에 적힌 내용을 보고 문구마다 설명이 있는지, 그 설명이 학습·모델을 말하는지 센서·규칙을 말하는지, 작동 조건과 한계가 적혀 있는지, 안전·전파 인증이 확인되는지를 옮겨 적어요.
언어 모델은 자료에서 문장을 찾아 잇는 초안을 만들고, 검토자가 원문을 확인한 뒤에 공개해요. 자료에 적혀 있지 않은 내용은 채우지 않아요. 제품의 우열이나 표시의 진위, 법 위반 여부는 판단하지 않아요.
서비스 제작 동기
2025년 공정거래위원회와 한국소비자원은 온라인몰 가전·전자제품에서 AI 표시가 과장되거나 조건이 빠진 사례 20건을 찾아 고치게 했어요. 같은 조사에서 소비자 57.9%는 AI 제품에 평균 20.9%를 더 낼 뜻이 있다고 답했지만, 67.1%는 어떤 제품이 실제로 AI를 쓰는지 가려내기 어렵다고 했어요.
인공지능기본법 제31조의 고지 의무와 표시·광고 실증제도를 바탕으로 삼았어요. 판매페이지와 설명서에 흩어져 있는 설명, 작동 조건, 권익 정보를 소비자가 사기 전에 한 장에서 볼 수 있도록 모은 거예요.
카드 제작 과정
- 1자료 모으기판매페이지와 각주, 설명서를 받아요. 이미지 속 글자도 읽어서 옮겨요.검토자
- 2‘AI’ 문구 찾기‘AI’, ‘학습’, ‘스스로 인식’ 같은 표현이 든 문장을 골라요.AI 초안
- 3근거 잇기문구마다 각주·설명서에서 뒷받침 문장을 찾아요. 광고를 되풀이한 문장은 설명으로 치지 않아요.AI 초안
- 4권익 항목 채우기작동 조건, 내 데이터, AI 끄기, 보안·업데이트, 문의·보증을 자료 전체에서 찾고 공공 DB와 대조해요.AI 초안 + 검토자
- 5사람이 확인하고 공개검토자가 원문을 보고 승인하거나 고치거나 보류해요. 승인 전 카드는 공개되지 않아요.검토자
카드 구성: 소비자 권익 7항목과 5질문
카드 항목은 아이디어 제안 단계에서 정한 소비자 권익 7항목이에요. 화면에서는 읽기 쉽도록 다섯 질문으로 묶었고, 7항목은 모두 다음 표처럼 질문 안에 들어 있어요.
| 질문 | 담는 항목 |
|---|---|
| 무엇을 ‘AI’라고 하나요? | ① AI 기능·목적 ② 표시 근거와 확인상태 ③ 작동 조건·한계 |
| 내 집과 관련된 정보는 어디로 전송되나요? | ④ 수집 데이터·처리 위치·학습 이용 |
| AI 기능을 끌 수 있나요? | ⑤ AI 기능 해제와 대체모드 |
| 문제가 생기면 어떻게 하나요? | ⑥ 오작동 안전장치·업데이트·지원 ⑦ 문의·환불·보상 등 피해구제 |
| 안전·전파 인증은 확인되나요? | 공공 데이터베이스 대조(전파 적합성평가, KC 안전인증, 효율등급, 리콜) |
판정 자료의 범위
판정은 국내 공개자료(국문 판매페이지·각주·설명서, 국내 공식 FAQ·뉴스룸)를 기준으로 해요. 같은 회사의 해외 영문 공식 페이지에만 있는 설명은 ‘해외 자료’ 표시를 붙여 따로 보여 주고, 판정 수치에는 넣지 않아요. 국문 페이지에 없는 설명이 영문 페이지에 있다는 사실도 소비자가 알아 둘 정보라고 봐서 그대로 적어요. 모델명이 국내와 다른 해외 제품의 자료는 쓰지 않아요.
표시 기호 설명
- 작동 설명 있음회사가 공개한 자료에 이 기능이 어떻게 작동하는지 설명한 문장이 있어요. 작동 조건이나 한계가 함께 적혀 있으면 ‘조건’ 꼬리표로 그 내용을 붙여요.
- 작동 설명 없음회사가 공개한 자료에서 설명을 찾지 못했어요. 기능이 없다거나 표시가 거짓이라고 판정한 것은 아니에요.
- 표시와 설명 어긋남표시 문구와 같은 회사의 설명이 서로 맞지 않는 경우예요. 사람이 더 확인해야 하는 문구라서 카드 맨 위에 따로 모아 두어요.
- 센서·규칙으로 설명‘작동 설명 있음’ 문구에는 설명의 종류를 함께 적어요. 학습·모델, 카메라 인식, 센서·규칙, 외부 서비스, 조건·한계만 적음 가운데 하나예요. 2025년 공정위가 바로잡은 20건 중 19건이 센서·규칙 기능을 AI라고 부른 경우였기 때문에, 회사가 무엇으로 설명했는지를 함께 보여 줘요.
- 처리 위치 · 지원 기간‘내 데이터’ 항목에는 회사가 어디서 처리한다고 적었는지(국내·국외·기기 안·기재 없음)를, ‘보안·업데이트’ 항목에는 지원 기간을 햇수로 밝혔는지를 함께 적어요. 개인정보 보호법은 국외 이전 사실을 알리도록 하고, EU 사이버복원력법은 지원 기간을 햇수로 밝히도록 하고 있어요.
- 검토 기록의 두 축검토자는 두 가지를 따로 판정해요. 하나는 뒷받침 설명이 있는지(있음·없음·어긋남), 다른 하나는 작동 조건·한계도 적혀 있는지예요. ‘근거 확인·조건 확인·자료 부족·추가 확인 필요’ 네 이름은 이 두 축의 조합에서 나오고, 카드에서는 앞의 두 가지를 ‘작동 설명 있음’으로 합쳐서 보여 줘요.
확인 현황(공개 카드 집계)
공개된 카드 143장을 더한 수치예요. 카드가 늘면 숫자도 바뀌어요.
- 765개‘AI’라고 적은 문구. 그중 581개에 작동 설명이 있고, 171개는 설명을 찾지 못했어요
- 179개국내 공개자료에서 학습·모델을 언급한 작동 설명. 센서·규칙 256개, 카메라 인식 53개, 외부 서비스 43개, 조건·한계만 47개. 회사의 해외 영문 자료까지 더하면 학습·모델 설명은 180개
- 122 / 143AI 기능을 끄는 방법이 공개자료에 없는 제품. 데이터 처리 설명이 없는 제품은 97개
자동 판정 정확도 평가
AI 초안이 뽑은 문구를, AI 판정을 보지 않고 원문만으로 따로 매긴 정답과 비교했어요. 규칙을 고칠 때 쓴 제품과, 규칙을 다 고친 뒤 처음 본 제품을 나눠 적어요(2026년 10월 12일 기준).
판정은 두 가지를 따로 물어요. 하나는 문구를 뒷받침하는 작동 설명이 있는지, 다른 하나는 작동 조건·한계도 함께 적혀 있는지예요. 그래서 정확도도 두 축으로 나눠 적어요.
- 71.4%규칙을 다 고친 뒤 처음 본 제품 9개(삼성 공식몰의 인덕션·식기세척기·냉장고·TV·모니터 등, 제조사 1곳)의 문구 56개에서, 뒷받침 설명이 있는지 없는지 어긋나는지를 정답과 맞힌 비율(95% 신뢰구간 58~82%). 한 번만 재고 그 뒤 규칙을 고치지 않았어요. 라벨러가 받은 66개 문구 중 표시 문구가 아니라고 본 10개(장면 설명·후기 등)는 뺐어요. 9개 중 로봇청소기 1개는 처음 확인한 제품과 같은 모델이라(판매페이지는 새로 수집), 그 제품을 빼면 43개 문구에서 67.4%예요
- 94.6%같은 9개 제품에서 양쪽 모두 ‘설명 있음’으로 본 문구 37개 중, 조건·한계가 적혀 있는지를 맞힌 비율
- 8건 · 8건같은 56개 문구 가운데 근거가 없는데 ‘작동 설명 있음’으로 둔 경우 8건, 설명이 있는데 못 찾고 ‘설명 없음’으로 둔 경우 8건
규칙을 고칠 때 쓴 제품 12개(로봇청소기·공기청정기 등)에서는 설명 유무를 88.9% 맞혔어요. 이 수치는 그 제품을 보면서 규칙을 다듬은 결과라 처음 본 제품의 71.4%보다 높게 나와요. 그 사이에 한 번 더 시험한 제품 9개는 처음 재었을 때 61.5%였고, 놓친 원인(이미지 글자가 줄 단위로 끊긴 것 등)을 고친 뒤 다시 재면 91.5%지만, 이것도 규칙을 고치는 데 쓴 뒤의 숫자라 시험 결과로 적지 않아요.
처음 본 제품에서 ‘설명 있음’으로 잘못 둔 8건 중 5건은 한 가지 이유예요. 기능 이름 아래 적힌 ‘AI 성능 인증’ 각주를 그 기능의 설명으로 보았는데, 정답을 매긴 세 사람은 제품 인증일 뿐 기능 설명은 아니라고 봤어요. 같은 세 사람이 앞선 시험에서는 같은 종류의 각주를 설명으로 인정했기 때문에, 이 부분은 라벨 기준(코드북)이 모호했던 지점이고 기준에 예시를 추가했어요. 시험 수치는 그대로 두고, 이 규칙은 시험 뒤 한 건 고쳤어요.
정답은 AI 판정을 보지 못한 라벨러 3인이 원문만 보고 따로 매긴 뒤 다수결로 정했어요. 세 사람이 서로 얼마나 일치했는지도 우연 일치를 걷어내고 쟀고, 처음 본 제품 9개에서는 Fleiss 카파 0.92(문구 추출 여부·설명 유무 모두), 앞선 시험들에서는 0.77~0.79였어요. 통계에서 각각 ‘거의 완전한 일치’, ‘상당한 일치’로 보는 구간이에요.
자동 판정은 설명을 놓치는 쪽과 과하게 인정하는 쪽 모두에서 틀릴 수 있어요. 그래서 카드는 검토자가 원문을 확인한 뒤에만 공개해요. 정답 라벨과 계산에 쓴 코드는 요청하시면 그대로 보내 드려요.
소비자 사용성 시험
2026년 10월 12일, 소비자 6명(60대 이상 2명 포함)이 같은 제품의 판매페이지 원본과 카드를 각각 보고 다섯 가지 정보(‘AI’ 기능 수, 작동 설명이 있는 기능 수, 잘 안 되는 상황, AI를 끌 수 있는지, 문제가 생겼을 때 연락처)를 찾았어요. 화상으로 진행했고 이름은 기록하지 않았어요.
- 2.8 → 4.3다섯 가지 중 맞게 찾은 정보의 수(평균). 원본 판매페이지에서 2.8개, 카드에서 4.3개
- 197초 → 85초다섯 가지를 찾는 데 걸린 시간(평균). 원본에서는 90초 안에 못 찾고 포기한 문항이 2건, 카드에서는 0건
- 1명‘자료 부족’ 표시를 제품이 나쁘다는 뜻으로 받아들인 참여자. 이 답을 근거로 ‘자료 부족’ 설명 문구를 고쳤어요
‘안 적혀 있다’가 정답인 질문(AI 끄기, 연락처)에서 원본을 본 참여자는 "앱에서 끄면 되지 않을까요", "서비스센터에 물어보면 되겠죠"처럼 추측으로 답한 경우가 6건이었고, 카드를 본 참여자는 모두 "안 적혀 있다"고 답했어요. 카드에서 틀린 답은 30문항 중 4건으로, 표시와 설명이 어긋난 문구를 설명 있는 쪽에 더해 센 경우(2건), ‘조건’ 꼬리표를 못 본 경우(1건), ‘자료 부족’을 기능 없음으로 읽은 경우(1건)였어요. 모두 카드 문구를 고치는 데 썼어요. 사람 수가 적고(6명), 원본을 먼저 본 사람이 4명이라 순서 효과를 걸러내지 못했고, 정답지는 카드 내용을 기준으로 만든 것이라 평균과 범위만 적고 통계적 차이는 말하지 않아요.
서비스의 범위와 한계
- 공개된 문서와 공식 등록 정보만 봐요. 제품 내부가 실제로 어떻게 만들어졌는지는 추정하지 않아요.
- 정확도는 삼성 공식몰 제품으로 쟀어요. 다른 제조사의 판매페이지 서식에서는 다시 재야 해요. 판정 초안은 외부 언어 모델을 쓰고, 한도를 넘으면 규칙 판정으로 대체되며 그 경우 초안 품질이 낮아져요. 공개 카드는 검토자 1인이 원문을 확인해요.
- ‘진짜 AI’, ‘가짜 AI’ 같은 등급이나 점수를 매기지 않아요.
- 법 위반 여부를 판정하지 않아요. 그 판단은 담당 기관이 해요.
- 소비자의 개인정보를 모으지 않아요. 쉬운 말·큰 글씨 설정은 이용자 기기에만 남아요.
접근성 설계
모든 카드에 ‘쉬운 말’, ‘큰 글씨’, ‘읽어주기’ 버튼이 있어요. 표시는 색과 함께 글자로도 적어 두어 색을 구별하기 어려워도 읽을 수 있고, 키보드만으로도 모든 기능을 쓸 수 있어요.
정정 요청 안내
카드 내용이 회사의 공개자료와 다르거나 자료가 새로 공개되었다면 알려 주세요. 원문과 출처를 받으면 검토자가 확인한 뒤 카드를 고치고, 고친 날짜를 카드에 남겨요. 이 카드는 표시광고법 위반 여부를 판정하지 않아요.
카드 설계 근거
카드의 7항목·확인상태·질문 서식은 아래 법·표준·연구를 따랐어요.
- 7항목 — ISO/IEC Guide 14(소비자 구매 정보)의 항목 구조를 AI 표시에 맞게 좁혔어요. 항목별로 표시·광고의 공정화에 관한 법률 제3조·제5조, 개인정보 보호법 제30조, 소비자기본법 제4조·제19조가 대응해요.
- 확인상태 — 법 위반이나 우열이 아니라 공개자료 안의 근거 유무만 적어요. 표시광고법 제5조가 실증 책임을 사업자에게 두는 구조와 맞고, 자동 사실검증 연구의 표준 범주(근거 있음·정보 부족)와 같아요.
- 작동 설명의 종류 — 공정위·소비자원이 2025년 11월 시정한 AI워싱 20건의 유형(센서 기술을 AI로 표현 19건, 조건·한계 미기재 1건)을 그대로 구분할 수 있게 나눴어요. ISO/IEC 22989의 AI 정의가 규칙 기반 시스템을 배제하지 않으므로 AI 여부는 판정하지 않아요.
- 다섯 질문과 쉬운 말 — ISO 24495-1(쉬운 언어)의 네 원칙과 표준화 라벨 연구(Kelley 외, 2009·2010)를 따랐어요. 상태를 색만으로 구분하지 않는 것은 WCAG 2.1 성공기준 1.4.1을 따른 거예요.
- 정답 라벨 — 독립 라벨러 3인이 매기고 불일치는 다수결(앞선 시험에서는 출처를 가린 3차 판정)로 확정했어요. 평가자 일치도는 Fleiss κ 0.77~0.92(추출 여부)·0.79~0.92(확인상태)예요.
참고 자료
- 공정거래위원회·한국소비자원, ‘AI워싱 의심사례 시정 및 부당 표시·광고 가이드라인 마련 추진’(2025. 11. 7.)
- 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조, 같은 법 시행령 제23조
- 표시·광고의 공정화에 관한 법률 제3조·제4조·제5조; 개인정보 보호법 제30조; 소비자기본법 제4조·제19조
- EU AI Act 제50조(2026. 8. 2. 적용); 미국 FTC ‘Operation AI Comply’(2024. 9. 25.)
- ISO/IEC 22989:2022, ISO/IEC TR 24028:2020, ISO/IEC Guide 14:2018, ISO/IEC Guide 71:2014, ISO 24495-1:2023, WCAG 2.1
- Mitchell 외, Model Cards for Model Reporting(2019); Kelley 외, A Nutrition Label for Privacy(2009); Thorne 외, FEVER(2018); Fleiss(1971), Landis & Koch(1977)
- 공정거래위원회, ‘표시·광고 실증에 관한 운영’ 개정안 행정예고(2026. 6. 23.)
- 제품안전정보센터, 국립전파연구원 적합성평가, 한국에너지공단 효율관리제도, 한국인터넷진흥원·한국소비자원 로봇청소기 보안 점검(2025. 9. 2.)