- ChatGPT에서 환각이 발생하는 이유는 모델이 단어를 예측하고 현실을 이해하지 못하며 정보가 부족하거나 모호할 때 공백을 채우려는 경향이 있기 때문입니다.
- 적절한 질문 활용, 명확한 맥락 제시, 구체적인 제한 사항 제시, 출처 요청, 그리고 불확실성 인정은 답변을 조작할 가능성을 확실히 줄여줍니다.
- 정확성이 매우 중요한 경우, 핵심 데이터를 항상 외부 소스와 대조하여 검증하고 적절한 모델, 추론 방법 및 구성을 사용하는 것이 필수적입니다.
- 업계에서는 새로운 교육 기법을 개발하고 있지만, 오류를 발견하고 생성된 정보를 검토하는 최종 책임은 사용자에게 있습니다.
ChatGPT에서 발생하는 허위 응답은 생성형 인공지능에 대한 논의에서 가장 많이 거론되는 주제 중 하나이며, 흔히 발생하는 ChatGPT 오류의 주요 원인 입니다. 이러한 응답은 매우 설득력 있고 자신감 넘치는 어조로 작성되었지만, 실제로는 거짓 데이터, 조작된 인용문 또는 근거 없는 결론을 포함하고 있습니다. 단순히 호기심으로 ChatGPT를 사용하는 사람에게는 큰 문제가 되지 않을 수 있지만, 업무에서 인공지능을 활용하는 사람에게는 심각한 골칫거리가 될 수 있습니다.
현재로서는 언어 모델에서 발생하는 오류(환상)를 완전히 제거하는 것은 불가능하지만 , 더 나은 프롬프트, 우수한 검증 방식, 그리고 각 모델 사용 방식의 조정이라는 세 가지 요소를 결합하면 오류를 크게 줄일 수 있습니다. 이 글에서는 이러한 오류의 정의, 발생 원인, 업계(특히 OpenAI)에서 이를 완화하기 위해 어떤 노력을 기울이고 있는지, 그리고 가장 중요한 것은 ChatGPT 사용 방식을 어떻게 변경해야 오류를 훨씬 줄일 수 있는지에 대해 자세히 설명합니다.
ChatGPT에서 나타나는 환각은 무엇이며, 왜 발생하는 걸까요?
인공지능 분야에서 환각이란 ChatGPT와 같은 모델이 부정확하거나, 조작되었거나, 근거 없는 정보를 생성 하면서도 마치 사실인 것처럼 자연스럽게 제시하는 현상을 말합니다. 이는 단순히 몇 가지 오류에 그치는 것이 아니라, 때로는 신뢰할 만한 출처에 없는 문단 전체, 직접 인용문, 연구 논문 제목, 또는 주장을 만들어내기도 합니다.
이런 현상이 발생하는 이유는 ChatGPT를 비롯한 다른 대규모 언어 모델들이 사람처럼 세상을 이해하지 못하기 때문입니다 . ChatGPT는 추론을 하거나 실시간 데이터베이스를 통해 사실을 검증하는 대신, 학습 과정에서 얻은 패턴을 기반으로 앞 단어 다음에 올 가능성이 가장 높은 단어를 계산합니다. 본질적으로 ChatGPT는 매우 정교한 텍스트 완성 도구라고 할 수 있습니다.
질문이 모델이 학습 과정에서 관찰한 내용과 잘 일치할 때, 모델은 대개 정확한 답을 내놓습니다. 하지만 매우 구체적이거나, 드물거나, 학습 데이터에 제대로 반영되지 않은 정보를 요구할 때 문제가 발생합니다. 이런 경우, 모델은 실제 상황에 부합하지 않더라도 가장 가능성이 높은 답이라고 생각하는 것으로 빈칸을 채우려고 애쓰게 됩니다.
대표적인 예로 특정 저자의 직접적인 인용구를 요청하는 경우가 있습니다 . 학습 데이터에 해당 인용구가 정확히 포함되어 있지 않으면, 사용자는 그 저자의 말처럼 "들리는" 문구를 만들어내고, 마치 그 저자가 쓴 것처럼 자연스럽게 인용하며, 때로는 사용자가 계속해서 지적할 때에야 비로소 실수를 인정하기도 합니다. 날짜, 수치, 고유명사, 학술 논문 참조 등 특히 오인 현상이 발생하기 쉬운 영역에도 동일한 문제가 적용됩니다.
또 다른 중요한 요인이 있습니다. 많은 모델은 항상 응답을 내놓 도록 훈련됩니다 . "모르겠다"라고 솔직하게 인정하는 것은 훈련 과정에서 우선순위가 아니었기 때문에, 처리하는 데이터가 불충분하거나 모호하더라도 정보를 채워 넣는 경향이 있습니다.
ChatGPT의 내부 작동 방식 (그리고 이것이 환각에 미치는 영향)
ChatGPT가 왜 그렇게 예측 불가능한지 더 잘 이해하려면, 이 모델이 엄청난 양의 텍스트로 학습된 언어 모델 이라는 점을 기억하는 것이 도움이 됩니다 . 학습 과정에서 ChatGPT는 어떤 단어들이 함께 쓰이는 경향이 있는지, 과학 논문에서 어떤 문장 구조가 일반적인지, 뉴스 기사는 어떻게 작성되는지, 에세이는 어떻게 논증되는지 등과 같은 패턴을 학습합니다.
ChatGPT는 질문을 하면 인터넷 검색을 하지 않습니다(웹 브라우징 기능이 활성화된 버전 제외). 대신 사용자가 제공한 문맥을 바탕으로 가장 가능성이 높은 다음 답변을 단어 단위로 예측합니다 . 따라서 화면에 천천히 타이핑하는 것처럼 보이는 것은 실제로 사람이 생각하는 것처럼 '생각'하는 것이 아니라 실시간으로 텍스트를 완성하는 것입니다.
이것이 바로 모델이 스타일을 모방하고, 텍스트를 요약하고, 제공된 문서를 바탕으로 일관성 있는 답변을 생성하는 데 뛰어난 이유이지만, 동시에 매우 정확한 데이터를 요구할 때는 심각한 오류를 범할 수 있는 이유이기도 합니다. 모델은 정보에 대해 확신이 없으면 담론의 흐름을 방해하지 않기 위해 빈칸을 채우는 경향이 있습니다.
또한, AI를 훈련하는 방식 역시 상당한 영향을 미칩니다. 전통적으로는 모델이 사용자에게 유용하고 설득력 있는 답변을 제공하는 데 우선순위를 두었는데 , 이는 때때로 엄격한 사실 정확성과 상충됩니다. 이러한 균형을 맞추는 것이 현재 업계의 주요 과제 중 하나입니다.
환각 현상을 줄이기 위한 OpenAI와 업계 전략
최근 몇 년 동안 생성형 AI의 허황된 주장에 대한 비판이 끊이지 않고 있습니다. 공개 시연에서의 오류 (예: 제임스 웹 우주 망원경에 대한 허위 주장)부터 법률이나 언론 매체에서 사용되는 허구적인 내용에 이르기까지 다양한 문제가 제기되었습니다. 이러한 실패 사례들은 오픈AI와 같은 기업들이 모델 학습 및 평가 방식을 재고하도록 만들었습니다.
OpenAI가 진행 중인 연구 분야 중 하나는 "프로세스 모니터링 "입니다. 최종 답이 맞는지 여부에만 초점을 맞추는 "결과 모니터링"과는 달리, 모델이 답에 도달하기까지 거치는 다양한 추론 단계를 평가하고 보상하는 방식을 사용합니다.
이 아이디어는 인공지능이 단순히 깔끔한 최종 답에 도달하는 것뿐만 아니라 투명하고 일관성 있는 추론 에 대해 보상을 받는다면 , 겉보기에는 그럴듯해 보이지만 실제로는 잘못된 결론에 도달할 가능성이 줄어든다는 것입니다. 또한 이를 통해 모델은 자신이 거친 단계를 더 잘 설명할 수 있게 되어 인간과 유사한 "추론 과정"에 더 가까워질 수 있습니다.
하지만 이러한 접근 방식이 환각을 완전히 없앨 수 있는지에 대해서는 관련 분야 내에서 상당한 회의론이 존재합니다. 개인정보보호 및 윤리 전문가들은 이러한 훈련 과정에 사용된 데이터와 사례에 대한 더 자세한 정보와 결과를 검증하기 위한 독립적인 동료 평가 연구를 요구하고 있습니다.
현재 OpenAI는 이러한 기술을 모든 제품에 광범위하게 적용하는 구체적인 날짜를 정하지는 않았지만, 오류를 줄이는 것이 최우선 과제임을 분명히 했습니다 . 그동안 올바른 사용에 대한 실질적인 책임은 대부분 사용자에게 있습니다.
행동 변화: ChatGPT가 환각 증세를 더 심하게 보이는 경우
많은 일반 사용자들이 시간이 지남에 따라 ChatGPT가 특히 긴 문서, 학술 인용문 또는 연구 과제를 다룰 때 혼란스러워하거나 당황하는 경향이 더 커지는 것을 발견했습니다 . 대표적인 예로, 연구자들이 수십 개의 PDF 파일을 업로드하고 요약, 핵심 주제 파악, 결론을 뒷받침하는 직접 인용문 제공을 요청하는 경우가 있습니다.
반복적으로 제기되는 불만은 출처가 명시된 직접 인용문을 요청하면 모델이 임의로 내용을 지어낸다는 것입니다. 수정하고 인정했음에도 불구하고 모델은 계속해서 거짓 인용문을 생성하며, 일부 채팅에서는 마치 "환각의 굴레"에 빠진 듯 새로운 대화를 시작하지 않고는 벗어나기 어렵습니다.
자주 언급되는 또 다른 문제는 향상된 메모리와 교차 컨텍스트 의 영향입니다 . 음성 비서가 사용자의 선호도나 다른 대화에서 논의된 주제를 기억하게 되면, 부적절하게 여러 분야를 혼합할 수 있습니다. 예를 들어, 사용자가 다른 대화에서 양자 역학을 언급했다는 이유만으로 사회 과학 관련 질문에 답변하면서 양자 컴퓨팅 개념을 도입하는 경우가 있습니다.
ChatGPT가 매우 그럴듯하지만 실제로는 존재하지 않는 인용문을 생성하는 것을 발견한 일부 사용자들은 NotebookLM 과 같은 PDF 분석 전문 도구 등 문서 분석에 특화된 다른 도구를 사용해 보기 로 했습니다 . 이러한 경우, ChatGPT 모델은 창의적인 아이디어 구상, 브레인스토밍 또는 초안 작성에는 여전히 유용한 도구이지만, 학문적 정확성이 요구되는 작업에는 더욱 신중하게 사용해야 합니다.
OpenAI 생태계 내에서도 모델 간의 차이가 관찰됩니다. o3 계열처럼 보다 정밀한 추론 에 초점을 맞춘 버전은 속도는 느리지만 상세한 문서 분석에서 착시 현상을 덜 발생시키는 경향이 있습니다. GPT-4o나 더 가벼운 모델과 같은 다른 변종들은 창의성과 속도 면에서 매우 뛰어나지만, 완벽하게 검증된 데이터가 필요한 경우에는 주의해서 사용해야 합니다.
ChatGPT에서 좋은 프롬프트를 사용하여 환각 현상을 최소화하는 방법
모델 설계 자체에 한계가 있지만, 질문 방식은 매우 큰 영향을 미칩니다. ChatGPT를 맞춤 설정 하고 질문을 다듬으면 ChatGPT가 잘못된 정보를 제공할 가능성을 크게 줄이거 나, 최소한 정보가 부족할 때 알려주도록 할 수 있습니다.
핵심은 명확하고 구체적인 맥락을 제공하는 것입니다 . 지시가 모호할수록 모델은 추측으로 채울 여지가 많아집니다. "멕시코의 역사는 무엇입니까?"라고 묻는 대신, "멕시코 독립의 시작을 야기한 세 가지 주요 원인을 설명하고, 그 답변을 공신력 있는 역사적 자료로 뒷받침하십시오."라고 구체적으로 묻는 것이 훨씬 낫습니다.
정보의 범위를 제한하는 것도 매우 유용합니다 . 문서나 텍스트 모음을 제공할 때는 해당 자료에만 근거하여 답변해야 한다고 명확히 알려주세요. 예를 들어, "이 자료에 있는 정보만을 사용하여 답변하세요. 만약 자료에 없는 내용이 있다면, '정보가 부족합니다'라고 답하세요."와 같이 말이죠. 이렇게 하면 모델이 일반적인 학습에서 얻은 모호한 지식을 활용하려는 유혹을 줄일 수 있습니다.
또 다른 효과적인 전략은 출처를 묻거나 불확실성을 인정하도록 요청하는 것 입니다 . "확실하지 않으면 모른다고 명확히 말하세요" 또는 "정보를 지어내지 마세요. 누락된 데이터가 있으면 표시하세요"와 같은 표현은 모델이 유창함보다 정직성을 우선시하도록 유도합니다. 완벽한 방법은 아니지만, 일반적으로 노골적인 정보 왜곡의 비율을 줄여줍니다.
API에 접근 권한이 있다면 모델의 온도를 조정할 수 있습니다 . 낮은 값(0에 가까운 값)은 출력을 더욱 보수적이고 반복 가능하게 만들어 창의성을 감소시키고, 결과적으로 환각의 위험을 줄입니다. 웹 인터페이스에서는 이 매개변수를 직접 변경할 수 없지만, "추측이나 의견 없이 객관적으로 답변해 주세요"와 같은 지침을 포함하여 유사한 기능을 요청할 수 있습니다.
환각 가능성을 감지하고 검증하기 위한 모범 사례
프롬프트 개선 외에도 체계적인 검증 절차를 도입하는 것이 중요합니다 . 온라인에서 가짜 뉴스를 탐지하는 데 사용하는 것과 동일한 기술을 사용하여 의심스러운 AI 응답을 식별할 수 있습니다.
첫 번째 권장 사항은 거의 상식에 가깝지만, 다시 한번 강조할 가치가 있습니다. 핵심 정보는 항상 신뢰할 수 있는 외부 자료를 통해 확인하십시오. ChatGPT가 수치 데이터, 날짜, 저자 이름 또는 연구 참고 자료를 제공하는 경우 공식 웹사이트, 학술 데이터베이스, 서적 또는 참고 문헌에서 확인하십시오. 예를 들어, ChatGPT가 관련 예시를 찾지 못한 작업 목록을 참고하는 것도 좋은 방법입니다.
모델에게 추론 과정을 단계별로 보여달라고 요청하는 것도 매우 유용합니다 . "어떻게 그런 결론에 도달했는지 단계별로 설명해 주세요"와 같은 지시를 통해 논리적 허점이나 근거 없는 비약을 찾아낼 수 있습니다. 만약 추론 과정이 논리적으로 맞지 않는다면, 그 답은 아마도 착각에 기반한 것일 가능성이 높습니다.
큰 질문을 구체적인 하위 질문 으로 나누면 모델이 한 번에 너무 많은 맥락을 다뤄야 하는 것을 방지할 수 있습니다. 전체 분야에 대한 거시적인 질문을 던지는 대신, 먼저 주요 이론에 대해 묻고, 그다음 주요 저자에 대해 묻고, 그다음 실증적 증거에 대해 묻는 식으로 진행하세요. 이렇게 하면 각 부분을 독립적으로 검증할 수 있습니다.
인터넷 검색 기능이 포함된 ChatGPT 버전 , 특히 검색 기능이 활성화된 유료 플랜의 경우 최신 정보가 필요할 때 이 기능을 활성화하는 것이 좋습니다. 이 기능이 환각 현상을 완전히 없애지는 못하지만, 모델이 통계적 기억에만 의존하는 것이 아니라 실제 문서를 활용하기 때문에 위험을 줄여줍니다.
흥미로운 방법은 동일한 질문에 약간의 변형을 주어 반복하는 것입니다 . 모델이 거의 동일한 질문에 대해 모순된 답변을 한다면, 모델이 데이터를 조작하거나 신뢰할 수 없는 방식으로 추론하고 있을 가능성이 높습니다. 이러한 경우에는 철저한 외부 검증을 수행하는 것이 좋습니다.
마지막으로, API 또는 고급 설정을 사용하는 경우 "정보가 확실하지 않으면 '정보가 부족합니다'라고 응답하고 추측하지 마십시오."와 같은 영구적인 시스템 지침을 정의하십시오. 이렇게 하면 문제가 완전히 해결되지는 않지만 정직성에 대한 더 엄격한 기준을 설정할 수 있습니다.
오류를 줄이는 구성 및 사용 모드
안내 메시지 외에도 ChatGPT에는 특정 설정이 있어 , 특히 연구, 과학 또는 법률과 같은 민감한 주제에 대해 매일 사용하는 경우 허위 응답을 최소화하는 데 도움이 될 수 있습니다.
웹 검색 기능이 통합된 고급 모델을 활용할 수 있다면 , 빠르게 변화하는 데이터(시사, 규정, 최신 문헌)를 다룰 때 해당 모델을 활성화하는 것이 좋습니다. 실시간 정보를 활용하면 AI는 비교 분석에 더 많은 선택지를 확보할 수 있고, 통계적 직관에 의존하여 정보의 공백을 메울 필요성을 줄일 수 있습니다.
소위 고급 추론 모드 , 예를 들어 분석 정확도에 중점을 둔 모델(o3 계열 등)은 속도보다 정확성을 우선시하도록 설계되었습니다. 이러한 모드는 답을 도출하는 데 시간이 더 오래 걸릴 수 있지만, 논리적, 수학적 또는 상세한 문서 분석 문제에서 심각한 오류를 범할 가능성이 더 낮습니다.
ChatGPT의 또 다른 핵심 기능은 맞춤 지침 입니다 . 설정에서 원하는 응답 유형을 지정할 수 있습니다. 예를 들어, 보다 전문적인 답변, 보다 교육적인 답변, 보다 신중한 답변 등을 설정할 수 있습니다. 정확성을 창의성보다 우선시하도록 설정하거나, 확실하지 않은 경우에는 항상 출처를 명시하도록 설정하거나, 추측성 답변일 경우 경고 메시지를 표시하도록 설정할 수도 있습니다.
ChatGPT를 연구 목적으로 사용할 때는, 특히 기사 분석이나 학술 요약을 요청할 경우, 명확한 참고 자료가 포함된 풍부한 맥락을 제공하는 것이 중요합니다 . 프롬프트 자체에 신뢰할 수 있는 출처를 포함하고 답변이 해당 자료를 기반으로 해야 함을 명확히 하면 모델이 모호한 정보에 의존할 가능성을 줄일 수 있습니다.
모델마다 위험 프로필이 다르다는 점을 잊지 마세요 . 가벼운 모델은 창의적인 아이디어를 생성하는 데("X에서 Y로 가는 20가지 방법을 알려주세요") 유용할 수 있지만, 논문에서 정확한 인용구를 추출하는 데는 최적의 선택이 아닐 수 있습니다. 반대로, 더 무거운 모델은 속도가 느리더라도 심층 분석에 적합할 수 있습니다. 이러한 조정은 모델을 구성하는 인공지능 매개변수 에서 비롯됩니다.
환각을 유발하는 일반적인 사용자 오류
우리가 매일 목격하는 수많은 오류는 모델 자체의 문제뿐만 아니라 우리가 모델을 사용하는 방식 때문이기도 합니다. 인공지능이 오류를 범하도록 유도하는 몇 가지 사용 패턴이 있는데 , 이러한 패턴을 파악하는 것이 중요합니다.
가장 흔한 실수 중 하나는 지나치게 일반적인 질문을 하는 것입니다 . "사회심리학에 대한 모든 것을 설명해 주세요" 또는 "이 분야의 최신 연구 동향을 요약해 주세요"와 같은 요청은 너무 광범위하여 모델이 방대한 정보를 압축해야 하므로 오류나 부정확한 단순화의 가능성을 높입니다.
또 다른 위험한 관행은 검증 없이 인공지능이 생성하는 인용문, 참고 문헌 또는 법률 판결 에 맹목적으로 의존하는 것입니다 . 언어 모델은 바로 이러한 유형의 작업에서 "그럴듯하게 들리지만" 존재하지 않는 제목, 저자 또는 데이터를 만들어낼 가능성이 특히 높습니다.
또한, 같은 대화 스레드에 너무 많은 주제를 섞는 것도 좋지 않습니다 . 양자 물리학에서 교육학으로, 법학으로, 그리고 결국 미술사로 이야기가 넘어가면 채팅 맥락이 혼란스러워지고, 모델이 불필요하게 한 분야의 개념을 다른 분야로 끌어다 쓸 가능성이 높아집니다.
태도적인 측면에서 위험한 실수는 ChatGPT를 절대적인 진리의 원천이 아니라 보조 도구로 여기는 것입니다. 인턴의 작업물을 검토하듯이, 특히 자신의 전문적 또는 학문적 명성이 걸려 있다면 모델의 결과물도 꼼꼼히 검토해야 합니다.
마지막으로, AI 모델은 업데이트됨에 따라 시간이 지남에 따라 성능이 향상되거나 저하될 수 있다는 점을 기억해야 합니다 . 특정 모델이 특정 유형의 작업(예: 긴 문서 분석)에서 신뢰성 문제를 일으키기 시작하는 경우, 다른 모델로 전환하거나, 새 채팅 환경을 구축하거나, 다른 전문 도구와 함께 사용하는 것을 고려해 보세요.
환각을 겪으면서도 ChatGPT를 즐기는 방법
환각 증상이 내일 당장 사라지지는 않겠지만, 그렇다고 ChatGPT의 가치가 떨어지는 것은 아닙니다. 핵심은 이 도구를 현명하게 사용 하는 것입니다 . ChatGPT가 잘하는 부분(글쓰기, 아이디어 생성, 정보 구조화, 명확한 설명 제공)을 최대한 활용하고, 중요한 데이터가 필요할 때는 훨씬 더 꼼꼼하게 검토해야 합니다.
창의적인 아이디어 구상이나 초안 작성에 환각을 활용한다면, 대개 큰 문제가 되지 않으며 오히려 흥미로운 반전을 가져다줄 수도 있습니다. 하지만 연구, 기술 보고서 또는 엄격한 검증이 필요한 콘텐츠 제작에 환각을 사용한다면 , 반드시 직접 철저한 검토를 거쳐 검증 없이는 어떤 것도 발표하지 않는 것이 현명합니다.
이러한 균형을 맞추는 과정에서 두 가지 진실을 동시에 받아들이는 것이 중요합니다. ChatGPT와 같은 모델은 실수를 저지르며 , 때로는 눈에 띄는 실수를 범하기도 합니다. 하지만 인간 또한 실수를 저지른다는 사실 또한 간과할 수 없습니다. 인공지능이 특정 작업을 인간보다 덜 오류적으로 수행하거나 우리가 투자하는 시간을 크게 줄여준다면, 최종적인 책임을 인공지능에 맡기지 않는 한 여전히 매우 매력적인 선택지가 될 것입니다.
궁극적으로, 본인이 서명한 내용에 대한 책임은 모델이 아닌 본인에게 있습니다. 심각한 오류를 ChatGPT 탓으로 돌리는 것은 "개가 숙제를 먹어버렸어" 라고 말하는 것과 같습니다 . 변명처럼 들릴지 모르지만, 그에 따른 결과를 면제해 주지는 않습니다. 현명한 방법은 오류를 식별하는 방법을 배우고, 검증 메커니즘을 워크플로에 통합하고, 프롬프트와 설정을 점진적으로 개선하는 것입니다.
더 나은 모델, 새로운 프로세스 중심 학습 기법, 통합 검색 도구, 그리고 더욱 성숙한 사용자 경험을 결합한다면, 착각은 점차 줄어들 것입니다. 그때까지는 ChatGPT를 있는 그대로 받아들이는 것이 가장 현명한 접근 방식입니다. ChatGPT는 강력하지만 완벽하지는 않은 도구이며 , 답변을 액면 그대로 믿지 않고 먼저 검토하는 한 생산성을 향상시켜 줄 수 있습니다.
