AI 비서는 없는 답을 지어낼까요?

AI가 답을 지어내는 이유

언어 모델은 그럴듯한 텍스트를 만들어 내도록 설계되어 있습니다. 범용 AI에게 어떤 카페에 와이파이가 있는지 물으면, 그 카페에 관한 사실이 전혀 없어도 대부분의 카페에는 와이파이가 있으니 “있다”가 그럴듯한 답이 됩니다. 그럴듯하지만 틀린 답은 이렇게 생깁니다. 미국 국립표준기술연구소(NIST)의 생성형 AI 지침은 이를 ‘작화(confabulation)’라 부르며 이 기술의 주요 위험 중 하나로 꼽습니다.

틀린 답이 비즈니스에 치르게 하는 대가

영업시간을 틀리게 알려 주면 헛걸음과 나쁜 리뷰가 남습니다. 정책을 틀리게 알려 주면 대가가 더 클 수 있습니다. 2024년 캐나다의 한 분쟁 심판소는 Air Canada에 고객 보상을 명령했습니다. 웹사이트 챗봇이 항공사의 실제 정책에서는 허용되지 않는 유족 할인 운임 환불을 안내했기 때문입니다. 항공사는 챗봇이 한 말에 책임을 져야 했습니다.

게다가 어떤 틀린 답은 위험합니다. “이 요리에 견과류가 없나요?”는 추측으로 답할 질문이 아닙니다.

Kioskly AI가 사실만 말하는 방법

• 비즈니스 사실의 출처는 오직 내 정보뿐입니다. 무엇이 있는지, 가격이 얼마인지, 영업시간, 시설, 정책은 모두 메모, 웹사이트, 문서에서만 가져옵니다.
• 추측하지 않습니다. 대부분의 업장에 있다는 이유로 주차장, 와이파이, 화장실이 있다고 말하지 않습니다. 기록되어 있지 않으면 그렇다고 말하고 고객을 직원에게 안내합니다.
• 업종마다 엄격한 규칙이 있습니다. 레스토랑·카페: 메모에 관련 내용이 있어 보여도 알레르기 질문은 모두 직원에게 넘깁니다. 약국: 의학적 조언을 하지 않습니다. 호텔: 요금, 객실 현황, 투숙객 정보를 알려 주지 않습니다. 매장: 근거 없이 재고를 약속하지 않습니다.
• 과장하지 않습니다. 직접 그렇다고 하지 않는 한 무언가를 “가장 인기 있는” 것이라고 부르지 않습니다.
• 빈 곳을 보여 줍니다. 답하지 못한 질문이 홈 화면에 표시되므로 답을 한 번만 추가하면 됩니다.

직접 할 수 있는 일

• 없는 것도 적어 두세요. “주차장 없음. 가장 가까운 주차장은 킹 스트리트에 있음”이라고 적어 두면 “모르겠습니다”가 도움이 되는 답으로 바뀝니다.
• 계절에 따라 바뀌는 정보는 바뀌는 날 바로 업데이트하세요. 영업시간, 메뉴, 가격이 가장 자주 틀립니다.
• 고객이 묻기 전에, 거절해야 하는 질문까지 포함해 까다로운 질문으로 테스트하세요.
• 답하지 못한 질문 목록을 매주 확인하세요. AI 비서를 개선하는 가장 빠른 방법입니다.

자주 묻는 질문