ChatGPT에서 환각 현상을 최소화하는 방법

인포매텍 디지털 » Recursos » ChatGPT에서 환각 현상을 최소화하는 방법

라스 ChatGPT에서의 환각 생성형 인공지능에 대해 이야기할 때 가장 많이 논의되는 주제 중 하나가 되었으며, 많은 곳에서 등장합니다. 일반적인 ChatGPT 오류이러한 답변들은 매우 설득력 있게 들리고 자신감 넘치는 어조로 작성되었지만, 실제로는 허위 데이터, 조작된 인용문 또는 근거 없는 결론을 포함하고 있습니다. 단순히 호기심으로 사용하는 사람에게는 큰 문제가 아닐 수 있지만, 일상 업무에서 인공지능에 의존하는 사람에게는 심각한 골칫거리가 될 수 있습니다.

오늘날에는 불가능하지만 환각을 완전히 없애다 언어 모델 측면에서 오류를 크게 줄이려면 세 가지 요소를 결합해야 합니다. 바로 더 나은 프롬프트, 효과적인 검증 방식, 그리고 각 모델 사용 방식에 대한 적절한 조정입니다. 이 글에서는 이러한 오류의 종류, 발생 원인, 업계(특히 OpenAI)에서 이를 완화하기 위해 어떤 노력을 기울이고 있는지, 그리고 무엇보다 ChatGPT 사용 방식을 어떻게 변경해야 오류를 훨씬 줄일 수 있는지 자세히 살펴보겠습니다.

ChatGPT에서 나타나는 환각은 무엇이며, 왜 발생하는 걸까요?

인공지능의 맥락에서 환각이란 ChatGPT와 같은 모델이 만들어내는 현상을 말합니다. 부정확하거나, 조작되었거나, 근거 없는 정보를 생성합니다.하지만 너무나 자연스럽게 쓰여 있어서 사실처럼 느껴집니다. 단순히 몇 개의 오류에 그치는 것이 아니라, 때로는 문단 전체를 구성하거나, 직접 인용한 문구, 연구 논문의 이름, 또는 신뢰할 만한 출처에 없는 주장을 포함시키기도 합니다.

이는 ChatGPT가 다른 주요 언어 모델과 마찬가지로 다음과 같은 이유로 발생합니다. 그는 당신처럼 세상을 이해하지 못해요.이 프로그램은 추론하거나 실시간 데이터베이스를 통해 사실을 확인하는 대신, 학습 과정에서 얻은 패턴을 기반으로 이전 단어 다음에 올 가능성이 가장 높은 단어를 계산합니다. 본질적으로, 매우 정교한 텍스트 완성 프로그램이라고 할 수 있습니다.

질문이 학습 과정에서 모델이 접했던 내용과 잘 일치할 때, 모델은 대개 정답을 맞힙니다. 문제는 질문을 할 때 발생합니다. 매우 구체적이거나, 드물거나, 제대로 표현되지 않은 정보 훈련 데이터에서 이러한 상황이 발생하면, 실제 근거가 없더라도 가장 가능성이 높은 답이라고 생각하는 것으로 빈칸을 채우도록 "강요"받게 됩니다.

대표적인 예는 다음과 같이 요청하는 것입니다. 특정 작가의 직접 인용문학습 데이터에 해당 인용구가 정확히 포함되어 있지 않다면, 그 저자의 말투와 "비슷하게 들리는" 문구를 만들어내고 자연스럽게 출처를 밝힌 다음, 사용자가 오류를 인정할 때까지는 오류를 무시하지 않는 방법이 있습니다. 날짜, 수치, 고유명사, 학술 논문 참조 등 오류가 발생하기 쉬운 영역에도 동일한 방법을 적용할 수 있습니다.

또 다른 중요한 요소가 있습니다. 많은 모델은 다음과 같은 목적으로 훈련됩니다. 항상 반응을 나타냅니다"모르겠다"라고 솔직하게 인정하는 것이 그들의 훈련 과정에서 우선순위가 아니었기 때문에, 그들은 가지고 있는 정보가 불충분하거나 모호하더라도 정보를 채워 넣는 경향이 있습니다.

ChatGPT의 내부 작동 방식 (그리고 이것이 환각에 미치는 영향)

ChatGPT가 환각을 보이는 이유를 더 잘 이해하려면, ChatGPT가 어떤 존재인지 기억하는 것이 중요합니다. 언어 모델 이 시스템은 엄청난 양의 텍스트로 훈련됩니다. 훈련 과정에서 자주 함께 쓰이는 단어들, 과학 논문에서 흔히 볼 수 있는 문장 구조, 뉴스 기사의 구성 방식, 에세이의 논증 방식 등과 같은 패턴을 학습합니다.

ChatGPT에 질문을 하면 (브라우징 기능이 활성화된 버전을 제외하고) 인터넷을 검색하지 않고 대신 단어 단위로 예측합니다 주어진 맥락을 바탕으로 다음에 가장 가능성이 높은 결과는 무엇일까요? 화면에 천천히 타이핑하는 것처럼 보일 때, 실제로는 사람처럼 '생각'하는 것이 아니라 실시간으로 텍스트를 완성하는 것입니다.

이것이 바로 스타일을 모방하고, 텍스트를 요약하고, 제공된 문서를 바탕으로 일관성 있는 답변을 생성하는 데 탁월한 이유이자, 동시에 다음과 같은 이유이기도 합니다. 엄청난 실패를 초래할 수 있다 정확한 정보를 요구하는 데이터를 요청할 때, 데이터가 명확하지 않으면 모델은 담론의 흐름을 방해하지 않기 위해 임의로 정보를 보충하는 경향이 있습니다.

또한, AI를 훈련시키는 방식도 상당한 영향을 미칩니다. 전통적으로는 모델이 결과를 도출하는 데 우선순위를 두었습니다. 사용자에게 도움이 되고 설득력 있는 답변이는 때때로 엄밀한 사실 정확성과 상충될 수 있습니다. 이러한 균형을 맞추는 것이 현재 업계의 주요 과제 중 하나입니다.

환각 현상을 줄이기 위한 OpenAI와 업계 전략

최근 몇 년 동안 생성형 인공지능의 허상에 대한 수많은 비판이 제기되었습니다. 공개 시위에서의 오류 (제임스 웹 우주 망원경에 대한 허위 주장과 같은 유명한 사례처럼) 법률이나 언론 맥락에서 사용되는 허구적인 언급에 이르기까지 다양한 오류가 발생합니다. 이러한 유형의 오류는 OpenAI와 같은 기업들이 모델 학습 및 평가 방식을 재고하도록 만들었습니다.

OpenAI가 현재 개발 중인 연구 분야 중 하나는 다음과 같습니다. “공정 감독”최종 답이 맞는지 여부에만 초점을 맞추는 것("결과 모니터링") 대신, 모델은 그 답에 도달하기까지 거치는 다양한 추론 단계에 따라 평가되고 보상을 받습니다.

핵심은 인공지능이 특정 행동에 대해 보상을 받는다면, 투명하고 일관된 방식으로 추론하다이는 최종 답이 잘 들어맞을 뿐만 아니라, 겉보기에 타당해 보이지만 잘못된 결론에 도달할 확률이 줄어들기 때문입니다. 또한 이를 통해 모델은 자신이 거쳐온 단계를 더 잘 설명할 수 있게 되어, 인간과 유사한 "추론 과정"에 더 가까워집니다.

하지만 꽤 많은 부분이 있습니다. 커뮤니티 내의 회의주의 이 접근법이 환각을 완전히 없앨 수 있는 정도에 대해서. 개인정보보호 및 윤리 전문가 그들은 이러한 교육 과정에 사용된 데이터와 사례에 대한 더 자세한 정보와 함께, 결과를 검증하는 독립적인 동료 검토 연구 결과를 요구하고 있습니다.

현재로서는 OpenAI는 이러한 기술을 모든 제품에 광범위하게 적용하는 구체적인 날짜를 정하지는 않았지만, 다음과 같은 점을 분명히 했습니다. 부정확성을 줄인다 이는 우선순위입니다. 하지만 이를 올바르게 사용하는 실질적인 책임은 대부분 사용자에게 있습니다.

행동 변화: ChatGPT가 환각 증세를 더 심하게 보이는 경우

많은 일반 사용자들이 시간이 지남에 따라 다음과 같은 점을 알아차렸습니다. ChatGPT는 환각을 더 자주 또는 다른 방식으로 경험하는 것 같습니다.이는 특히 긴 문서, 학술 인용문 또는 연구 과제를 다룰 때 더욱 그렇습니다. 대표적인 예로, 연구자들이 수십 개의 PDF 파일을 업로드하고 요약, 핵심 주제 파악, 결론을 뒷받침하는 직접 인용문 제공을 요청하는 경우가 있습니다.

반복적으로 제기되는 불만은 질문을 받았을 때 다음과 같은 내용입니다. 참조가 포함된 직접 인용문모델이 사실을 지어내기 시작합니다. 오류를 수정하고 인정해 줘도 계속해서 가짜 인용문을 만들어내고, 어떤 대화에서는 마치 "환각의 굴레"에 빠진 듯 새로운 대화를 시작하지 않고는 벗어나기 어렵습니다.

자주 언급되는 또 다른 문제는 그 영향입니다. 향상된 기억력과 교차 맥락음성 비서가 사용자의 선호도나 다른 대화에서 다룬 주제를 기억할 경우, 뚜렷한 이유 없이 여러 분야를 혼합하여 설명할 수 있습니다. 예를 들어, 사용자가 다른 대화에서 양자 물리학에 대해 이야기했다는 이유만으로 사회 과학 관련 질문에 양자 컴퓨팅 개념을 도입하는 경우가 있습니다.

어떤 사람들은 선택했습니다 다른 도구를 사용해 보세요 PDF 읽기에 특화된 시스템 등 문서 분석에 특화된 시스템 노트북LMChatGPT가 매우 그럴듯하게 들리지만 존재하지 않는 인용구를 만들어낸다는 사실을 발견한 후에도, 이 모델은 창의성, 브레인스토밍 또는 초안 작성에는 여전히 유용한 도구이지만, 학문적 정확성이 요구되는 작업에는 더욱 신중하게 사용해야 합니다.

OpenAI 생태계 내에서도 모델 간의 차이점이 관찰되었습니다. 특정 목적에 맞춘 버전들이 있습니다. 보다 정확한 추론, 예를 들어 o3 계열이러한 알고리즘은 속도는 느리지만 상세한 문서 분석에서 오류 발생률이 낮은 경향이 있습니다. GPT-4o 또는 더 가벼운 모델과 같은 다른 변종들은 창의성과 속도 면에서 매우 뛰어나지만, 완벽하게 검증된 데이터가 필요한 경우에는 주의해서 사용해야 합니다.

ChatGPT에서 좋은 프롬프트를 사용하여 환각 현상을 최소화하는 방법

모델 설계 자체가 한계를 설정하긴 하지만, 질문 방식은 엄청난 영향을 미칩니다. ChatGPT 사용자 지정 프롬프트를 다듬으면 ChatGPT가 사실을 왜곡할 가능성을 크게 줄입니다. 아니면 적어도 정보가 부족할 때 경고를 하도록 해야 합니다.

핵심 중 하나는 제공하는 것입니다. 명확하고 구체적인 맥락지시사항이 모호할수록 모델은 추측으로 채울 여지가 많아집니다. "멕시코의 역사는 무엇인가?"라고 묻는 대신, "멕시코 독립의 시작을 알리는 세 가지 주요 원인을 설명하고, 그 답변을 공신력 있는 역사적 자료로 뒷받침하시오."라고 구체적으로 묻는 것이 훨씬 낫습니다.

그것도 아주 유용해요 정보의 범위를 제한하다문서나 텍스트 모음을 제공할 때는 답변이 오직 해당 자료에만 근거해야 한다고 명확히 알려주세요. "이 자료에 포함된 정보만을 사용하여 답변하세요. 만약 자료에 없는 내용이 있다면, '자료가 부족합니다'라고 답하세요." 이렇게 하면 모델이 일반적인 학습에서 얻은 모호한 지식을 활용하려는 유혹을 줄일 수 있습니다.

또 다른 강력한 전략은 다음과 같습니다. 불확실성에 대한 출처 또는 인정을 요청하십시오."확실하지 않으면 모른다고 명확히 말하세요" 또는 "정보를 지어내지 마세요. 누락된 데이터가 있으면 표시하세요"와 같은 문구는 모델이 유창성보다 정직성을 우선시하도록 이끌어줍니다. 완벽하지는 않지만, 이러한 방식은 일반적으로 노골적인 허위 사실 유포율을 줄여줍니다.

API에 접근 권한이 있다면 직접 사용해 볼 수 있습니다. 모델 온도값이 낮을수록(0에 가까울수록) 출력 결과가 더 보수적이고 반복 가능해지므로 창의성이 저하되고 결과적으로 환각의 위험이 줄어듭니다. 웹 인터페이스에서 이 매개변수를 직접 변경할 수는 없지만, "추측이나 의견을 제시하지 않고 객관적으로 답변해 주세요"와 같은 지침을 통해 유사한 기능을 요청할 수 있습니다.

환각 가능성을 감지하고 검증하기 위한 모범 사례

프롬프트를 개선하는 것 외에도, 일정한 루틴을 확립하는 것이 필수적입니다. 체계적인 검증인터넷에서 가짜 뉴스를 탐지하는 데 사용하는 것과 동일한 기술을 사용하여 의심스러운 AI 응답을 식별할 수 있습니다.

첫 번째 권장 사항은 거의 상식적인 내용이지만, 다시 한번 강조할 가치가 있습니다. 핵심 정보는 항상 비교하세요. 신뢰할 수 있는 외부 자료를 활용하세요. ChatGPT에서 제공하는 수치 데이터, 날짜, 저자 이름 또는 연구 참고 자료는 공식 웹사이트, 학술 데이터베이스, 서적 또는 참고 문헌에서 확인하십시오. 예를 들어, 목록을 참고하세요. ChatGPT가 실패하는 작업 참고 사례를 갖기 위해서입니다.

모델에게 질문하는 것도 매우 유용합니다. 추론 과정을 단계별로 보여주세요."그 결론에 도달한 과정을 단계별로 설명해 주세요"와 같은 지시는 논리적 허점이나 근거 없는 비약을 파악하는 데 도움이 됩니다. 만약 그 과정이 논리적으로 맞지 않는다면, 그 답은 아마도 착각에 기반한 것일 가능성이 높습니다.

큰 문제를 나누기 구체적인 하위 질문 이렇게 하면 모델이 한 번에 너무 많은 맥락을 다뤄야 하는 것을 방지할 수 있습니다. 전체 분야에 대한 거시적인 질문을 하는 대신, 먼저 주요 이론에 대해 묻고, 그다음 주요 저자에 대해 묻고, 그다음 실증적 증거에 대해 묻는 식으로 단계적으로 질문하십시오. 이렇게 하면 각 블록을 독립적으로 검증할 수 있습니다.

ChatGPT 버전에서 인터넷 검색내비게이션 기능이 활성화된 일부 결제 방식처럼, 최신 정보가 필요할 때는 이 기능을 활성화하는 것이 좋습니다. 이 기능이 환각 현상을 완전히 없애지는 못하지만, 모델이 통계적 기억에만 의존하는 대신 실제 문서를 기반으로 하기 때문에 위험을 줄여줍니다.

흥미로운 트릭이 있습니다. 약간씩 변형하여 동일한 질문을 반복하세요.모델이 거의 동일한 질문에 대해 모순된 답변을 제공한다면, 이는 모델이 데이터를 조작하거나 신뢰할 수 없는 방식으로 추론하고 있을 가능성을 시사합니다. 이러한 경우에는 엄격한 외부 검증을 수행하는 것이 좋습니다.

마지막으로, API 또는 고급 설정을 사용하는 경우 "정보가 확실하지 않으면 '정보가 부족합니다'라고 응답하고 추측하지 마십시오."와 같은 영구적인 시스템 지침을 정의하십시오. 이렇게 하면 문제가 완전히 해결되지는 않지만 정직성에 대한 더 엄격한 기준을 설정할 수 있습니다.

오류를 줄이는 구성 및 사용 모드

안내 메시지 외에도 ChatGPT 내에는 도움이 될 수 있는 몇 가지 설정이 있습니다. 지어낸 답변을 최소화하세요특히 연구, 과학 또는 법률과 같은 민감한 주제에 대해 매일 사용하는 경우라면 더욱 그렇습니다.

고급 모델에 접근할 수 있는 경우 통합 웹 검색급변하는 데이터(시사, 규정, 최신 문헌)를 다룰 때 인공지능을 활성화하는 것이 좋습니다. 실시간 정보에 의존함으로써 인공지능은 검증 옵션이 더 많아지고 통계적 직관에 의존하여 정보의 공백을 메울 필요성이 줄어듭니다.

전화 고급 추론 모드분석 정확도에 더 중점을 둔 모델(예: o3 계열)은 속도보다 정확성을 우선시하도록 설계되었습니다. 이러한 모델은 응답을 생성하는 데 더 오랜 시간이 걸릴 수 있지만, 논리적, 수학적 또는 상세한 문서 분석 문제에서 심각한 오류를 범할 가능성이 더 적습니다.

또 다른 핵심 자원은 다음과 같습니다. 사용자 지정 ChatGPT 지침설정에서 원하는 응답 유형을 지정할 수 있습니다. 예를 들어, 보다 전문적인 답변, 보다 교육적인 답변, 보다 신중한 답변 등을 선택할 수 있습니다. 정확성을 창의성보다 우선시하도록 설정하거나, 확실하지 않은 경우에는 항상 출처를 밝히도록 설정하거나, 추측성 답변일 경우 경고 메시지를 표시하도록 설정할 수도 있습니다.

ChatGPT를 연구 목적으로 사용할 때는 다음 사항을 제공하는 것이 좋습니다. 풍부한 맥락, 명확한 참조로 가득 차 있음특히 기사 분석이나 학술 요약을 요청하는 경우라면 더욱 그렇습니다. 질문 자체에 신뢰할 수 있는 출처를 명시하고 답변이 해당 자료를 기반으로 해야 함을 명확히 하면 모델이 모호한 정보에 의존할 가능성을 줄일 수 있습니다.

모델마다 차이점이 있다는 것을 잊지 마세요. 서로 다른 위험 프로필경량 모델은 창의적인 아이디어를 생성하는 데 유용할 수 있지만("X에서 Y로 가는 20가지 방법을 알려주세요"), 논문에서 정확한 인용구를 추출하는 데는 최적의 선택이 아닐 수 있습니다. 반대로, 중량 모델은 속도가 느리더라도 상세한 분석에 적합한 대안일 수 있습니다. 이러한 조정은 다음과 같은 이유에서 비롯됩니다. 인공지능 매개변수 모델을 형성하는 것들.

환각을 유발하는 일반적인 사용자 오류

우리가 매일 접하는 환각 현상 중 상당수는 모델 자체의 문제뿐만 아니라 우리가 그 모델을 사용하는 방식 때문이기도 합니다. 여기에는 여러 가지 이유가 있습니다. 인공지능이 실수를 저지르도록 유도하는 사용 패턴그리고 그들을 식별하는 것이 좋습니다.

가장 흔한 실수 중 하나는 출시하는 것입니다. 지나치게 일반적인 질문"사회심리학에 대한 모든 것을 설명해 주세요" 또는 "이 분야의 최신 연구 동향을 요약해 주세요"와 같은 요청은 너무 광범위하여 모델이 방대한 양의 정보를 압축해야 하므로 오류나 부정확한 단순화의 가능성이 높아집니다.

또 다른 위험한 관행은 인공지능을 맹목적으로 신뢰하는 것입니다. 원문 인용문, 참고 문헌 또는 법원 판결문을 생성합니다. 검증 없이 말이죠. 바로 이런 유형의 작업에서 언어 모델은 "그럴듯하게 들리지만" 존재하지 않는 제목, 저자 또는 데이터를 만들어내는 경향이 특히 강합니다.

너무 많이 섞는 것도 도움이 되지 않습니다. 같은 게시글에 전혀 다른 주제들이 있네요.대화가 양자 물리학에서 교육학으로, 법학으로, 그리고 결국 미술사로 이어진다면, 대화의 맥락은 혼란스러워지고 모델이 아무 이유 없이 한 분야의 개념을 다른 분야로 끌어들일 가능성이 높아집니다.

태도적인 관점에서 볼 때, ChatGPT를 마치 ~인 것처럼 대하는 것은 위험한 실수입니다. 절대 진리의 원천 보조 도구가 아니라 직접 검토해야 합니다. 인턴의 업무를 검토하듯이, 특히 자신의 전문적 또는 학문적 명성이 걸려 있다면 모델이 만들어낸 결과물을 반드시 검토해야 합니다.

마지막으로, AI 모델은 다음과 같은 점을 기억해 두는 것이 좋습니다. 시간이 지남에 따라 개선되거나 악화됩니다. 업데이트가 진행될 때마다 해당 모델을 사용하세요. 특정 모델이 특정 유형의 작업(예: 긴 문서 분석)에서 안정성 문제를 일으키기 시작하면, 다른 버전으로 변경하거나, 새 채팅을 시작하거나, 다른 전문 도구와 함께 사용하는 것을 고려해 보세요.

환각을 겪으면서도 ChatGPT를 즐기는 방법

환각이 내일 당장 사라지지는 않겠지만, 그렇다고 ChatGPT의 가치가 떨어지는 것은 아닙니다. 핵심은 바로 여기에 있습니다. 도구를 현명하게 사용하십시오그가 아주 잘하는 부분(글쓰기, 아이디어 창출, 정보 구성, 교육적 설명)을 최대한 활용하고, 중요한 데이터가 나올 때는 훨씬 더 엄격하게 요구해야 합니다.

창의적인 아이디어 구상이나 초안 작성 등에 활용할 경우, 환각은 큰 문제가 되지 않으며 오히려 흥미로운 반전을 가져다줄 수도 있습니다. 하지만 다른 목적으로 사용한다면 문제가 될 수 있습니다. 연구, 기술 보고서 ​​또는 엄격한 기준이 요구되는 콘텐츠가장 현명한 방법은 직접 철저한 검토를 거쳐, 확인하지 않은 내용은 절대 게시하지 않는 것입니다.

이러한 균형 속에서 ChatGPT와 같은 모델처럼 두 가지 진실을 동시에 받아들이는 것이 바람직합니다. 실수를 하다때로는 그 결점이 너무나 명백하지만, 인간도 실수를 한다는 것은 사실입니다. 인공지능이 특정 작업을 우리보다 덜 오류투성이로 수행하거나 우리가 그 작업에 소요하는 시간을 크게 줄여준다면, 최종적인 책임을 인공지능에 맡기지 않는 한 여전히 매우 매력적인 선택지가 될 것입니다.

궁극적으로, 당신이 서명한 내용에 대한 책임은 모델이 아닌 당신에게 있습니다. 심각한 오류에 대해 ChatGPT를 비난하는 것은 마치 "ChatGPT가 당신에게 책임을 전가하지 않았다"라고 말하는 것과 같습니다. “개가 숙제를 먹어버렸어요.”변명처럼 들릴지 모르지만, 그렇다고 해서 결과에 대한 책임을 면제받는 것은 아닙니다. 현명한 방법은 환각을 식별하는 방법을 배우고, 검증 메커니즘을 작업 흐름에 통합하고, 안내 메시지와 설정을 점진적으로 개선하는 것입니다.

더 나은 모델, 새로운 프로세스 중심 학습 기법, 통합 검색 도구, 그리고 더욱 성숙해진 사용자 행동을 결합한다면, 환각 현상은 점차 줄어들 것입니다. 그때까지는 ChatGPT를 있는 그대로 받아들이는 것이 가장 현명한 접근 방식입니다. 강력하지만 완벽하지는 않은 도구답변을 먼저 확인하지 않고 문자 그대로 받아들이지 않는 한, 생산성을 크게 향상시킬 수 있습니다.