AI 기초 및 활용 21회: 환각과 한계 — 고장이 아니라 구조에서 나오는 성질

오늘의 질문 — 왜 그렇게 자신 있게 틀릴까요

AI에게 어떤 주제의 참고문헌을 물어봤다고 해봅시다. 저자 이름, 논문 제목, 학술지, 연도가 가지런히 나옵니다. 형식도 완벽하고 내용도 그럴듯해요.

그런데 검색해 보니 그런 논문이 없습니다. 저자는 실존하고 학술지도 실존하는데, 그 조합의 논문만 없어요.

여기서 가장 이상한 점은 모델이 조금도 망설이지 않았다는 것입니다. "확실하지 않습니다"라는 단서 하나 없이 아주 자신 있게 내놓았죠.

오늘의 질문은 이것입니다. 왜 없는 것을 그렇게 자신 있게 만들어 낼까요. 그리고 결론을 미리 말하면, 이건 고장이 아니라 구조에서 나오는 성질입니다.

지난 회차 연결 — 프롬프트로 못 고치는 것

20회차 마지막에 프롬프트로 고칠 수 없는 것을 정리했습니다. 그중 가장 중요한 것을 오늘 정면으로 다룹니다.

그리고 오늘 이야기의 재료는 이미 18회차에 다 나와 있습니다. 모델은 다음 토큰의 확률 분포를 내놓고 거기서 하나를 뽑는다고 했죠. 여기서 "참인 토큰"에 확률이 매겨지는 게 아니라 "그럴듯한 토큰"에 매겨진다는 사실이 오늘의 전부입니다.

19회차의 지식도 쓰입니다. "모르겠습니다"가 훈련 데이터에 드물다는 것, 그리고 아첨하도록 다듬여졌다는 것이요.

환각은 고장이 아닙니다

먼저 용어를 정리하겠습니다. 환각은 모델이 사실이 아닌 것을 사실처럼 말하는 현상을 가리킵니다.

이 이름 자체가 좀 오해를 부릅니다. 환각이라고 하면 평소엔 멀쩡한데 가끔 이상해지는 것처럼 들리죠. 그런데 실제로는 다릅니다.

18회차에서 배운 대로 모델은 언제나 같은 일을 합니다. 그럴듯한 다음 조각을 고르는 일이요. 맞는 답을 낼 때와 틀린 답을 낼 때 모델이 하는 일은 완전히 같습니다.

그러니까 환각은 다른 모드로 들어간 것이 아닙니다. 늘 하던 일이 이번엔 참과 어긋났을 뿐이에요. 이 사실을 받아들이는 것이 오늘의 출발점입니다.

그럴듯함과 참은 대체로 겹치지만 항상은 아닙니다

그렇다면 왜 대부분의 답은 맞을까요. 그럴듯함과 참이 대체로 겹치기 때문입니다.

웹에 있는 글은 대체로 사실을 담고 있습니다. "대한민국의 수도는" 다음에 서울이 압도적으로 자주 나오죠. 그러니 그럴듯한 것을 고르면 참이 됩니다.

문제는 겹치지 않는 자리입니다. 두 가지 경우가 있어요.

하나는 데이터에 없거나 드문 것입니다. 그러면 모델은 비슷한 것들의 평균 같은 것을 만들어 냅니다. 실제로는 없는 조합이지만 형태는 완벽하죠.

다른 하나는 데이터에 틀린 것이 많은 경우입니다. 널리 퍼진 오해는 웹에도 널리 퍼져 있으니 모델도 그렇게 답합니다. 그럴듯함을 배운 결과가 그대로 나오는 겁니다.

어디서 특히 심한가 — 고유명사와 숫자

환각이 특히 자주 나오는 자리가 있습니다. 알아 두면 방어에 직접 도움이 됩니다.

고유명사가 첫째입니다. 사람 이름, 제품명, 논문 제목, 회사명. 이런 것은 규칙으로 압축되지 않습니다. 18회차에서 모델이 규칙을 찾아 압축한다고 했는데, 고유명사는 규칙이 없어요. 그냥 외워야 하는데 드문 것은 잘 안 외워집니다.

숫자가 둘째입니다. 통계 수치, 날짜, 가격, 인용 쪽수. 역시 압축이 안 되는 정보입니다. 게다가 그럴듯한 숫자를 만들어 내기는 아주 쉬워요.

연결 관계가 셋째입니다. 누가 무엇을 언제 했는지 같은 것이요. 각 요소는 실재하는데 조합이 틀린 경우가 흔합니다. 이게 가장 잡아내기 어렵습니다. 부분마다 검색하면 다 맞으니까요.

존재하지 않는 논문과 판례

가장 유명한 사례를 짚고 가겠습니다. 2023년, 미국의 한 변호사가 법원 제출 서류에 AI가 만들어 낸 판례를 인용했다가 제재를 받았습니다.

이 사건이 교과서적인 이유가 있어요. 그 판례들은 형식이 완벽했습니다. 사건명 구조, 법원 표기, 인용 번호 형식이 전부 실제 판례와 똑같았습니다.

왜 그럴까요. 모델이 배운 것이 정확히 "판례 인용은 이렇게 생겼다"이기 때문입니다. 형식은 규칙이라 잘 배웁니다. 그런데 그 형식을 채우는 내용은 규칙이 아니에요.

그래서 형식이 완벽할수록 오히려 위험합니다. 사람은 형식이 정확하면 내용도 정확할 거라고 짐작하거든요. 환각의 위험은 그럴듯함에 비례합니다.

왜 모른다고 말하지 못하나

이제 두 번째 질문입니다. 모르면 모른다고 하면 될 텐데 왜 안 할까요. 이유가 셋 있습니다.

첫째, 훈련 데이터에 "모르겠습니다"가 드뭅니다. 사람들은 대개 아는 것을 씁니다. 모르는 것에 대해 글을 쓰지 않아요. 그러니 그 답의 확률이 애초에 낮습니다.

둘째, 19회차의 선호 학습 때문입니다. 사람 평가자는 답을 주는 쪽을 대체로 더 좋게 평가합니다. "모르겠습니다"는 도움이 안 되는 답처럼 보이니까요. 그러면 그 방향으로 다듬여집니다.

셋째, 그리고 이게 가장 근본적인데요. 모델은 자기가 모른다는 것을 알기 어렵습니다. 모델에게는 "이 사실을 안다"와 "이 사실을 만들어 냈다"가 같은 방식으로 나옵니다. 둘 다 확률이 높은 조각을 고른 결과예요. 구분할 내부 신호가 마땅치 않습니다.

지식 마감 — 모르는 게 아니라 없는 것

환각과 자주 혼동되는 것이 지식 마감입니다. 원인이 다르니 구분해야 해요.

사전학습 데이터는 어느 시점까지 수집됩니다. 그 이후에 일어난 일은 모델 안에 존재하지 않습니다.

문제는 모델이 그 경계를 정확히 모른다는 점입니다. 마감 직전 몇 달의 정보는 웹에 아직 적게 쌓였을 때 수집되므로 희미하게만 들어 있어요. 그래서 "최신 정보는 언제까지인가"를 물으면 모델이 대답하는 날짜가 실제와 어긋나는 일이 흔합니다.

더 성가신 것은 이겁니다. 마감 이후의 일을 물으면 모른다고 하는 대신 마감 이전 지식으로 그럴듯하게 답합니다. "최신 모델은 무엇인가"에 한참 전 모델을 최신이라고 답하는 식이죠.

대응은 단순합니다. 시의성 있는 질문은 검색을 켜거나 자료를 직접 넣으세요.

계산을 틀리는 이유

또 하나 자주 겪는 것이 계산 오류입니다. 이것도 원인이 다릅니다.

18회차에서 봤듯 모델은 계산기가 아닙니다. 계산 결과처럼 보이는 조각을 고르는 장치예요. 그리고 토큰 단위로 세상을 보니 자릿수를 다루는 데도 불리합니다.

그래서 자주 본 식은 잘 맞히고 처음 보는 큰 수는 틀립니다. 게다가 틀린 결과도 자릿수는 그럴듯합니다. 대충 맞아 보이니 검산을 건너뛰기 쉬워요.

대응도 단순합니다. 계산은 계산 도구에 시키세요. 요즘 모델은 코드를 실행하거나 계산기를 호출할 수 있습니다. "계산은 코드로 해서 결과를 알려 줘"라고 요구하면 정확도가 크게 올라갑니다. 23회차 에이전트의 실용적 가치가 여기 있습니다.

추론 과정을 믿을 수 있나

20회차에서 예고한 문제입니다. 모델이 써 놓은 중간 과정이 실제 근거라는 보장이 없습니다.

이것을 확인한 연구들이 있습니다. 프롬프트에 정답을 은근히 암시하는 단서를 심어 두면, 모델은 그 단서 쪽으로 답하면서도 추론 과정에는 그 단서를 언급하지 않습니다. 대신 다른 그럴듯한 이유를 댑니다.

즉 실제로 답을 결정한 요인과 설명으로 제시된 이유가 다를 수 있습니다. 사람도 흔히 하는 일이죠. 먼저 결정하고 나중에 이유를 붙이는 것이요.

그래서 실무 원칙이 나옵니다. 추론 과정은 검증의 실마리로는 유용하지만 검증 자체는 아닙니다. 과정을 읽으면 어디를 확인할지는 알 수 있어요. 하지만 과정이 그럴듯하다는 이유로 결론을 믿으면 안 됩니다.

검색을 붙이면 해결되나 — RAG

가장 널리 쓰이는 대응이 검색 증강 생성입니다. 줄여서 RAG라고 부르죠.

방식은 단순합니다. 질문이 들어오면 먼저 관련 문서를 찾아옵니다. 그리고 그 문서를 프롬프트에 함께 넣어 답하게 합니다.

5회차에서 지식 그래프와 검색 증강 생성을 잠깐 언급했는데, 그 실물이 이것입니다. 기억에서 꺼내는 대신 자료를 보고 답하게 만드는 겁니다.

16회차의 어텐션 관점으로 보면 더 명확합니다. 어텐션은 필요할 때 원본을 돌아보는 장치였죠. RAG는 그 원본의 범위를 모델 바깥까지 넓힌 겁니다.

RAG가 해결하는 것

RAG는 실제로 여러 문제를 해결합니다. 정확히 무엇을 해결하는지 알아 둡시다.

지식 마감을 넘습니다. 오늘 나온 자료도 찾아서 넣으면 됩니다.

모델이 모르는 영역을 다룹니다. 사내 문서, 개인 자료, 비공개 정보 같은 것이요. 미세조정 없이도 됩니다.

출처를 붙일 수 있습니다. 이것이 어쩌면 가장 큰 가치예요. 답이 어느 문서의 어느 대목에서 나왔는지 표시하면 사용자가 직접 확인할 수 있습니다. 환각을 없애지는 못해도 확인 비용을 크게 낮춥니다.

그래서 실무에서 RAG는 표준이 됐습니다. 사내 문서 검색, 고객 응대, 법률·의료 보조 도구가 거의 전부 이 방식이에요.

RAG가 해결하지 못하는 것

그런데 RAG는 만능이 아닙니다. 이 부분이 실무에서 자주 오해됩니다.

첫째, 검색이 틀리면 답도 틀립니다. 관련 없는 문서를 가져오면 모델은 그걸 근거로 그럴듯한 답을 만들어 냅니다. 검색 품질이 답의 상한입니다.

둘째, 자료가 있어도 왜곡됩니다. 모델은 가져온 문서를 요약하고 종합하는데, 그 과정에서 없던 연결을 만들거나 조건을 빠뜨릴 수 있어요. 원문에 "일부 경우에 한해"가 있었는데 답에서 사라지는 식이죠.

셋째, 출처가 붙었다고 그 출처가 그 말을 하는 건 아닙니다. 실제 문서를 인용했는데 그 문서에 없는 내용이 답에 섞이는 경우가 있습니다. 출처 표시가 오히려 신뢰를 과하게 만들 수 있어요.

넷째, 문서에 없는 것을 물으면 여전히 만들어 냅니다. "자료에 없으면 없다고 하라"고 명시하지 않으면요.

자신감과 정확도는 따로 놉니다

여기서 오늘 가장 중요한 실용적 사실이 나옵니다. 모델의 말투에서 드러나는 확신은 정확도와 상관이 약합니다.

사람은 확신의 정도를 말투로 드러냅니다. 잘 아는 것은 단정적으로, 애매한 것은 조심스럽게 말하죠. 그래서 우리는 상대의 말투를 신뢰의 단서로 씁니다.

그런데 모델의 말투는 내용에 대한 확신이 아니라 그 주제의 글이 대개 어떤 말투로 쓰이는지를 반영합니다. 판례 인용은 원래 단정적으로 쓰이니, 만들어 낸 판례도 단정적으로 나오는 거예요.

그래서 사람에게 통하던 신뢰 판단법이 여기서는 오작동합니다. 이 어긋남이 환각이 위험한 진짜 이유입니다. 틀린 답 자체보다, 틀린 답을 걸러 낼 우리의 감각이 안 통한다는 것이요.

교차 확인 — 가장 값싼 방어

가장 비용 대비 효과가 좋은 방어법을 소개하겠습니다. 같은 질문을 새 대화에서 다시 묻는 것입니다.

18회차에서 봤듯 샘플링은 확률적입니다. 그래서 모델이 확실히 아는 것은 매번 같은 답이 나오고, 만들어 낸 것은 매번 조금씩 다르게 나옵니다.

논문 제목을 세 번 물어 세 번 다 다른 제목이 나온다면 거의 확실히 환각입니다. 세 번 다 같다면 실재할 가능성이 높고요.

중요한 것은 같은 대화에서 다시 묻지 말라는 점입니다. 같은 대화에서는 앞선 답이 문맥에 있어 그 답에 이끌립니다. 반드시 새 대화에서 물어야 해요.

더 강한 방법은 다른 모델에 묻는 것입니다. 훈련 데이터와 방식이 달라 같은 실수를 할 확률이 낮습니다.

실전 ① 언제 믿고 언제 확인하나

매번 전부 확인하면 AI를 쓰는 의미가 없습니다. 확인이 필요한 자리를 골라내는 기준이 필요해요.

대체로 믿어도 되는 것은 이렇습니다. 널리 알려진 개념 설명, 문장 다듬기, 번역의 대의, 아이디어 발상, 코드의 뼈대. 공통점은 틀려도 금방 알아채거나 피해가 작다는 점입니다.

반드시 확인해야 하는 것은 이렇습니다. 고유명사와 숫자, 인용과 출처, 법·의료·세무 같은 규정, 최신 사건, 그리고 이것을 근거로 무언가를 결정할 때.

기준을 한 줄로 줄이면 이렇습니다. 틀렸을 때 되돌리기 어려운 것은 확인한다. 사실 이건 사람에게 일을 맡길 때의 기준과 똑같습니다.

실전 ② 확인 비용을 낮추는 법

확인이 필요하다면 싸게 확인할 수 있게 만드는 것이 실력입니다. 네 가지 방법이 있습니다.

불확실한 부분을 표시하게 하세요. 20회차에서 말한 그 한 줄입니다. "확실하지 않은 부분은 그렇다고 표시해 줘." 완벽하진 않지만 어디를 볼지는 알려 줍니다.

출처를 요구하세요. 단, 출처 자체가 환각일 수 있으니 출처가 있다는 것과 맞다는 것은 다릅니다. 출처는 확인의 시작점이지 결론이 아니에요.

검증 가능한 형태로 받으세요. "이 수치의 근거가 된 문장을 원문 그대로 인용해 줘"처럼요. 원문 인용은 검색해서 대조하기 쉽습니다.

사실과 해석을 나눠 받으세요. "사실만 먼저 목록으로, 해석은 그다음에" 같은 요구입니다. 확인할 대상이 분리되어 나옵니다.

실전 ③ 위임하면 안 되는 것

정직하게 선을 그어야 하는 영역이 있습니다.

사람의 안전과 건강에 직결되는 판단. 약물 상호작용, 응급 상황 대처, 진단. 일반 정보를 얻는 데는 유용하지만 판단을 대신하게 해서는 안 됩니다.

법적 효력이 있는 문서. 앞서 본 판례 사건이 정확히 이 경우입니다.

사람에 대한 평가. 채용, 심사, 신용 판단. 28회차에서 다룰 편향 문제가 여기서 실제 피해가 됩니다.

되돌릴 수 없는 실행. 파일 삭제, 송금, 발송. 23회차 에이전트에서 이 원칙이 결정적이 됩니다.

공통 기준은 하나입니다. AI는 초안을 만들고 사람이 결정한다. 이 순서가 뒤집히면 안 됩니다.

접근성 관점 — 검증 비용이 불평등합니다

이 시리즈의 관점에서 반드시 짚어야 할 것이 있습니다. "확인하세요"라는 조언의 비용이 사람마다 다릅니다.

저시력 사용자가 AI 답변의 출처를 확인하려면 어떻게 해야 할까요. 링크를 열고, 페이지를 훑고, 해당 문장을 찾아야 합니다. 화면 낭독기로 긴 문서에서 특정 문장을 찾는 것은 상당한 노동입니다. 확대해서 보는 사용자에게도 마찬가지고요.

그래서 이런 역설이 생깁니다. AI가 가장 큰 도움이 되는 사람에게 검증 비용도 가장 크게 듭니다. 정보 접근이 어려워서 AI가 유용한 건데, 같은 이유로 확인도 어려운 거예요.

실용적인 대응이 있습니다. 원문 인용을 요구하는 방식이 특히 값어치 있습니다. 링크를 열어 찾아 헤매는 대신 인용문을 바로 들을 수 있으니까요. 그리고 교차 확인은 시각적 탐색이 필요 없어서 접근성 부담이 낮은 방법입니다.

25회차에서 이 주제를 정면으로 다루겠습니다.

환각은 줄어들고 있나

정직하게 답하면 줄고는 있지만 사라지지 않았습니다.

개선된 것은 분명합니다. 검색 연동이 표준이 됐고, 모델이 커지면서 드문 사실도 더 많이 담게 됐으며, 19회차에서 본 검증 가능한 보상이 수학·코딩 정확도를 크게 올렸습니다.

그런데 구조적 원인은 그대로입니다. 모델은 여전히 그럴듯한 조각을 고르고, 여전히 자기가 모른다는 것을 알기 어렵습니다.

그리고 새로운 걱정도 있습니다. 모델이 좋아질수록 환각이 더 그럴듯해집니다. 빈도는 줄어드는데 걸러 내기는 더 어려워지는 거예요. 눈에 띄게 이상한 답은 오히려 안전합니다. 위험한 것은 거의 맞는 답입니다.

그래도 남는 것 — 신뢰 캘리브레이션

결국 필요한 것은 신뢰의 눈금을 다시 맞추는 일입니다.

우리는 상대의 말투와 형식으로 신뢰를 조절해 왔습니다. 그런데 AI에게는 그 단서가 작동하지 않습니다. 그러니 다른 눈금을 만들어야 합니다.

새 눈금은 말투가 아니라 종류를 봅니다. 이게 고유명사인가 숫자인가, 최신 정보인가, 이걸로 무엇을 결정하나. 오늘 정리한 기준들이요.

이건 습관의 문제라 시간이 걸립니다. 그리고 조금 피곤한 일이기도 하죠. 하지만 대안은 둘뿐입니다. 안 쓰거나, 눈금을 새로 맞추거나. 저는 후자가 낫다고 생각합니다.

이 시리즈의 태도

여기까지 오면서 한 가지가 일관되게 반복됐습니다. AI를 과소평가하지도 과대평가하지도 않는 것이요.

"어차피 앵무새라 쓸모없다"도 틀렸고 "곧 다 알아서 해 준다"도 틀렸습니다. 정확한 태도는 이 장치가 무엇을 하는 물건인지 알고, 그에 맞게 쓰는 것입니다.

오늘 배운 것으로 그 태도가 구체화됩니다. 그럴듯한 것을 만드는 장치이므로, 그럴듯함이 곧 값어치인 일에는 강하고 참이 결정적인 일에는 확인이 필요합니다.

이건 결함 목록이 아니라 사용 설명서입니다. 망치가 나사를 못 박는다고 흠이 아니듯이요.

핵심 정리 — 세 줄

첫째, 환각은 고장이 아니라 구조에서 나오는 성질입니다. 모델은 맞는 답을 낼 때와 틀린 답을 낼 때 완전히 같은 일을 합니다. 그럴듯한 조각을 고르는 것이죠. 그럴듯함과 참이 대체로 겹치기 때문에 대부분 맞고, 겹치지 않는 자리에서 환각이 나옵니다. 고유명사·숫자·연결 관계가 특히 위험합니다.

둘째, 모델은 자기가 모른다는 것을 알기 어렵습니다. "안다"와 "만들어 냈다"가 같은 방식으로 나오기 때문이고, 훈련 데이터에 모른다는 답이 드물며, 선호 학습이 답을 주는 쪽을 밀어 주기 때문입니다. 그래서 말투의 확신은 정확도와 상관이 약하고, 사람에게 통하던 신뢰 판단법이 여기서는 오작동합니다.

셋째, 검색을 붙이면 확인 비용은 낮아지지만 환각은 없어지지 않습니다. 검색이 틀리면 답도 틀리고, 자료가 있어도 요약 과정에서 왜곡되며, 출처가 붙었다고 그 출처가 그 말을 하는 것도 아닙니다. 결국 필요한 것은 종류별로 신뢰의 눈금을 다시 맞추는 일이고, 원칙은 하나입니다. 되돌리기 어려운 것은 확인한다.

용어 정리

환각 — 모델이 사실이 아닌 것을 사실처럼 말하는 현상. 별도의 오작동 모드가 아니라 평소와 같은 동작의 결과입니다.

지식 마감 — 사전학습 데이터가 수집된 시점. 그 이후 정보는 모델 안에 존재하지 않으며, 모델은 그 경계를 정확히 알지 못합니다.

검색 증강 생성(RAG) — 질문에 관련된 문서를 먼저 찾아 프롬프트에 넣고 답하게 하는 방식. 지식 마감을 넘고 출처를 붙일 수 있습니다.

교차 확인 — 같은 질문을 새 대화나 다른 모델에 다시 물어 답이 일치하는지 보는 방법. 답이 매번 달라지면 환각일 가능성이 높습니다.

신뢰 캘리브레이션 — 무엇을 얼마나 믿을지의 눈금을 상황에 맞게 다시 맞추는 일.

추론 과정의 비충실성 — 모델이 제시한 중간 과정이 실제로 답을 결정한 요인과 다를 수 있는 성질.

다음 회차 예고 — 그리고 생각해볼 질문

22회차는 「멀티모달 AI」입니다. 지금까지 제4부는 글만 다뤘습니다. 다음 회차에서 그 경계를 넘습니다.

16회차에서 어텐션에는 언어에 특화된 가정이 없다고 했죠. 그래서 이미지도 음성도 같은 방식으로 다룰 수 있게 됐고, 하나의 모델이 셋을 함께 다루는 길이 열렸습니다. 다음 회차에서는 그 원리와 함께, 이미지를 이해하고 음성으로 대화하고 영상을 만드는 일이 실제로 어디까지 왔는지를 봅니다.

그리고 이 시리즈에서 특히 중요한 대목이 있습니다. 멀티모달은 접근성 기술과 가장 직접적으로 맞닿아 있습니다. 카메라로 세상을 읽어 주는 일, 화면을 설명하는 일이 전부 여기 속하니까요.

생각해볼 질문. 오늘 확신에 찬 말투와 실제 정확도가 따로 논다고 했습니다. 그리고 우리가 말투로 신뢰를 판단해 왔다고요.

그런데 이건 사람 사이에서도 늘 정확했을까요. 우리는 자신 있게 말하는 사람을 더 믿는 경향이 있습니다. 실제로는 그 확신이 근거와 무관할 때도 많은데요. AI가 이 문제를 새로 만들어 낸 걸까요, 아니면 원래 있던 우리의 허점을 드러낸 걸까요? 댓글로 들려주세요.

이 포스트는 SVIL 연구소 「AI 기초 및 활용」 30회 시리즈의 21회차이며, 제4부 「생성형 AI와 LLM 시대」의 네 번째 회입니다. 하버드 CS50 AI, MIT 6.S191 등 공개 교육과정의 구조를 참고했으며, 모든 내용은 이미지 없이 본문만으로 이해할 수 있도록 구성되어 있습니다. 모든 이미지에는 내용을 설명하는 대체텍스트가 포함되어 있습니다.

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/