생성형 AI가 그럴듯하게 틀리는 이유와 거짓 답 가려내는 법
.jpg)
생성형 AI가 그럴듯하게 틀리는 건 문장을 만드는 방식과 답을 채점하는 방식이 겹쳐서 생기는 일입니다. 두 번째가 빠지면 "원래 그렇게 생겨서 어쩔 수 없다"는 결론으로 가게 되는데, 그건 절반만 맞아요. 원인이 몇 갈래인지 알면 어디를 의심할지가 좁혀집니다.
틀린 답이 맞는 답처럼 매끄러운 이유
언어 모델은 사전학습 단계에서 아주 많은 글을 보며 다음 단어를 예측하는 연습을 합니다. 이때 보는 글에는 "이 문장은 거짓"이라는 표시가 붙어 있지 않습니다. 참과 거짓을 가려 도장을 찍는 단계가 따로 없는 셈이죠. 그래서 문장이 매끄러운지와 내용이 사실인지는 서로 다른 축이 됩니다. 매끄러움은 그대로인데 사실 여부만 어긋나는 답, 그게 "그럴듯하게 틀린다"고 느끼는 모양입니다.
철자나 괄호 짝처럼 규칙이 있는 영역은 모델이 커지면서 틀림이 줄어듭니다. 하지만 특정 인물의 생일처럼 드물게 등장하는 개별 사실은 패턴으로 예측할 수 있는 성질이 아니라, 규모를 키워도 남습니다.
"구조상 어쩔 수 없다"는 절반만 맞습니다
모델 개발사가 공개한 연구는 "환각은 불가피하다"를 흔한 오해로 분류합니다. 확실하지 않을 때 답을 보류할 수 있기 때문입니다. 모른다고만 답하는 모델은 환각을 전혀 일으키지 않죠.
그러면 왜 보류하지 않을까요. 성능을 재는 평가가 대체로 정답이냐 오답이냐로만 채점하기 때문입니다. 불확실성을 밝힌 답에는 점수를 주지 않으니, 모를 때 찍는 쪽이 점수상 유리해집니다. 쉽게 말하면 빈칸은 확실히 0점이고 찍으면 맞을 가능성이 남는 시험과 같은 구조예요. 모델이 "모르겠습니다"를 고르지 않는 건 성격이 아니라 점수 계산의 결과에 가깝습니다.
보류가 불가능한 게 아니라 기본값이 아닐 뿐이라면, 요청으로 끌어낼 여지가 있다는 뜻입니다. 어느 제공사의 공식 문서가 환각 줄이기 기법의 첫 번째로 드는 것도 "모르면 모른다고 답해도 된다고 명시해주기"예요.
환각은 하나가 아니라 원인이 다른 묶음입니다
한 단어로 묶여 있지만, 연구에서는 사실과 어긋나는 쪽과 준 자료·지시와 어긋나는 쪽을 아예 다른 종류로 나눕니다. 원인이 다르면 할 일도 다릅니다.
| 원인 유형 | 어떤 모양으로 나타나나 | 무엇을 하면 되나 |
|---|---|---|
| 드문 개별 사실 | 이름·날짜·수치·조항 번호를 아주 구체적으로, 자신 있게 | 기관·법령 원문에서 그 항목만 직접 확인 |
| 학습한 글 자체가 틀림 | 널리 퍼진 잘못된 상식을 매끄럽게 반복 | 출처 두 곳 이상 교차 확인 |
| 과제가 생성 방식과 안 맞음 | 글자 수 세기·계산에서 방법은 맞고 답만 틀림 | 계산기·표로 직접 검산 |
| 준 자료를 잘못 반영 | 출처는 실재하는데 그 문서가 주장을 담고 있지 않음 | 인용 문장을 원문에서 찾아 대조 |
| 질문 해석이 어긋남 | 묻지 않은 걸 답하거나 조건 하나를 빼먹음 | 질문을 조건별로 쪼개 다시 묻기 |
아래 두 유형은 AI가 모르는 게 아니라 손에 든 자료와 어긋난 경우라서, 원문 대조만 하면 가장 잡기 쉬워요.
검색을 켜면 사라질까요? 오류의 모양이 바뀝니다
웹 검색을 붙이면 환각이 끝난다는 기대가 흔한데, 공식 문서들의 표현은 일관되게 "줄인다"입니다. 어느 제공사 문서는 여러 기법을 소개한 뒤 "크게 줄이지만 완전히 없애지는 못하므로 중요한 정보는 반드시 검증하라"고 덧붙여요. 검색을 붙여도 채점 구조는 그대로라서, 검색이 확실한 답을 찾아내지 못한 순간에는 여전히 찍는 쪽이 유리해집니다.
실측 자료도 있습니다. 문서 검색을 결합한 법률 리서치 도구들을 평가한 학술 연구에서 도구별로 17~33% 비율의 환각이 집계됐습니다. 이 연구는 틀린 정보뿐 아니라 "출처가 그 주장을 뒷받침하지 않는 경우"까지 환각으로 셌어요. 특정 시점에 특정 분야 도구를 평가한 수치라서 다른 서비스에 옮겨 쓸 수는 없습니다.
그래서 출처가 붙은 답은 확인 순서가 달라집니다. ① 링크가 열리는지, ② 그 문서가 실제로 그 주장을 담고 있는지, ③ 숫자와 날짜가 원문과 같은지. 가장 많이 깨지는 건 ②, 즉 실재하는 출처가 주장을 지지하지 않는 경우입니다.
거짓 답 가려내는 3단계
- 틀렸을 때 손해가 큰 항목만 고릅니다. 이름·숫자·날짜·법 조항·인용문에 집중하면 대부분 걸립니다.
- 그 항목은 AI 밖에서 확인합니다. 같은 모델에 되묻는 건 보조 수단일 뿐 1차 출처 확인을 대신하지 못합니다.
- 질문 단계에서 미리 막습니다. "모르면 모른다고 해주세요", "첨부한 자료 안에 있는 내용만 쓰고 근거 문장을 그대로 인용해 주세요".
2026년 10월 기준 — 출처·검증 기능 (2026년 10월 확인)
- 한 대형 AI 앱은 응답에 '출처' 버튼이 붙을 수 있지만, 공식 안내가 모든 응답에 출처가 붙는 것은 아니라고 밝히고 있습니다.
- 같은 회사의 개발자용 검색 그라운딩 기능은 응답에 인용 주석을 함께 내려줍니다. 문서상 효과는 "환각을 줄인다"입니다.
- 또 다른 제공사의 공식 문서는 모른다고 답할 여지 주기, 직접 인용으로 근거 고정, 자료 밖 정보 사용 금지 지시를 권고합니다.
- 확인 경로: 각 서비스의 공식 고객지원·개발자 문서에서 '출처', '그라운딩', '환각' 항목
기능 이름·버튼 위치·제공 범위는 수시로 바뀝니다. 위 본문의 원인 구분과 확인 순서는 그대로 유효합니다.
자주 묻는 질문
Q. AI에게 "확실해?"라고 되물으면 걸러낼 수 있나요?
A. 부분적으로만 도움이 됩니다. 근거를 단계별로 설명하게 하거나 여러 번 돌려 비교하는 건 공식 문서도 권하는 기법이지만, 같은 문서가 완전히 없애지는 못한다고 덧붙여요. 말투의 확신 정도는 정확도의 신호가 아닙니다.
Q. 모델이 더 커지면 해결되나요?
A. 아니요. 애초에 답할 수 없는 질문이 있어서 정확도가 100%에 닿지 않습니다. 오히려 작은 모델이 자기 한계를 아는 게 더 쉬울 수 있다는 설명도 있어요. 모르는 언어라면 그냥 모른다고 답하면 되니까요.
Q. 같은 질문에 답이 매번 다르면 어느 쪽이 맞나요?
A. 답이 갈리는 지점이 바로 모델이 불확실한 지점입니다. 둘 중 하나를 고르려 하지 말고 그 항목을 1차 출처에서 확인하세요.
함께 보면 좋은 글
- [허브 글 링크: 생성형 AI를 처음 쓸 때 알아야 할 원리와 틀린 답 거르는 기본기]
- 「AI에게 질문 잘하는 기본 원칙」 — 조건을 빠뜨리지 않게 묻는 방법
- 「AI로 긴 문서 요약할 때 빠지는 내용」 — 자료를 줬는데도 어긋나는 유형
이 글은 2026년 10월 기준으로 확인한 내용입니다. AI 서비스는 기능 이름과 버튼 위치, 출처 표시 방식, 무료로 쓸 수 있는 범위가 예고 없이 바뀝니다. 같은 서비스를 쓰더라도 내부 모델 버전이 올라가면 같은 질문에 다른 답이 나올 수 있고, 기기와 앱 버전에 따라 화면 구성도 다르게 보입니다. 본문의 수치는 특정 시점에 특정 분야 도구들을 평가한 학술 연구 결과이므로 다른 서비스의 정확도로 읽으면 안 됩니다. 글에 적은 원인 구분과 확인 순서는 서비스가 바뀌어도 그대로 쓸 수 있도록 원리 중심으로 썼습니다.
최종 업데이트: 2026.10.01
#생성형AI #환각 #AI틀린답 #사전학습 #출처확인 #원문대조 #AI검색 #그라운딩 #AI정확도
.png)
댓글
댓글 쓰기