[미디어스 김홍열 칼럼] 최근 생성형 AI의 환각(hallucination) 문제가 다시 주목받고 있다. 구글의 새 검색 서비스 AI 오버뷰가 ‘피자를 요리할 때 피자 치즈가 잘 떨어지지 않도록 하는 방법’을 묻는 말에 ‘접착용 풀을 피자 소스에 조금 넣으면 무독성 접착제의 효과를 볼 수 있다’라고 응답한 것이 회자되면서 AI 환각이 여전히 심각한 것으로 알려지고 있다. AI 오버뷰는 ‘역대 미국 대통령 가운데 무슬림인 대통령은 얼마나 되느냐’라는 질문에는 ‘버락 후세인 오바마라는 무슬림 대통령이 한 명 있었다’라고 답하기도 했다. 이는 1년여간 사전 테스트 기간을 거쳤으며 지난해 베타버전 출시로 많은 데이터를 처리했다고 한 구글의 AI 오버뷰가 보여준 실제 사례다. 

AI 환각 사례는 이 외에도 얼마든지 많다. 실제 사용하다 보면 AI가 맞나 싶을 정도로 잘못된 답변을 쉽게 발견할 수 있다. AI의 환각을 줄이기 위한 빅테크 기업들의 노력도 계속 이어지고 있다. 퍼플렉시티는 AI 답변 하단에 출처를 표기함으로써 AI가 어디서 답을 가져왔는지 사용자에게 공개한다. AI 답변이 창작이 아니라는 것을 알려주겠다는 의도다. 앤스로픽은 AI 클로드 최신 모델에 모르는 질문을 받으면 "잘 모르겠다"라고 답할 수 있도록 훈련해 환각을 줄이려고 한다. 대부분의 AI 기업이 환각을 줄이려는 방법을 계속 찾아 적용하고 있다. 그러나 어떤 기업도 환각 자체를 없을 수 있다는 공언은 하지 않고 있다.  

여기서 하나의 질문을 던져 보자. 환각은 왜 발생하는가. AI가 잘못된 답을 내놓는 이유는 무엇일까. 정답만 내놓는 AI는 가능할까. 이 질문에 답을 얻으려면 우선 AI 속성에 대하여 알아야 한다. 우리가 이용하는 대부분의 생성형 AI는 인간처럼 사고하거나 이해하는 존재가 아니다. 인간처럼 측정 데이터를 의도적으로 선택하거나 배제하지 않는다. AI는 주어진 텍스트 데이터를 바탕으로 ‘가장 그럴듯한 다음 말을 예측’하는 시스템이다. 이는 통계적 확률 기반 모델이라는 말로 요약된다. 즉, AI는 ‘진실과 거짓’을 판단하거나 검증하지 않고 말의 형태적 자연스러움을 기준으로 응답을 구성한다. 

이 과정에서 때때로 사실과는 전혀 다른 내용이 매우 설득력 있는 방식으로 전달되는 문제가 발생한다. 이것이 바로 환각이다. 환각은 본질적으로 기존 데이터를 통계적으로 조합하는 시스템이기 때문에 발생하는 현상이다. 기술을 아무리 정교하게 만들더라도 기존 데이터 조합이라는 구조 자체가 존재하는 한, 환각은 완전히 없애기 어려운 태생적 한계로 남을 수밖에 없다. AI가 똑똑한 답을 내놓기 위해서는 AI가 학습하는 데이터에 거짓된 정보가 없어야 한다. AI가 학습하는 데이터는 인간이 이미 만들어 놓은 자료들이라서 이 자료들에 모순이 없다면 AI는 모든 질문에 적절한 답을 만들 수 있다. 

그러나 우리 모두 잘 알고 있는 것처럼 이 자료들이 항상 정확하고 균형 잡힌 정보만은 아니다. 실제로 많은 연구 논문은 오류를 내포하고 있으며 뉴스 기사에도 편집자의 의도나 편향이 개입된다. SNS나 웹사이트에서 수집한 자료들은 더더욱 주관적이고 불완전하다. 이처럼 인간이 만든 정보나 데이터는 처음부터 완전하지 않았고 완전할 수가 없다. AI는 이 불완전한 지식을 정제 없이 흡수하고 적절하게 조합한다. 당연히 오류가 증폭되거나, 잘못된 정보가 ‘신규 콘텐츠’로 재생산되는 일이 발생한다. 즉, AI 환각은 기술의 문제가 아니라, 우리 사회 전체가 축적해 온 ‘불완전한 진실’의 반영이기도 하다.

인간 역시 이 잘못된 자료를 근거로 판단하고, 가짜뉴스를 무심코 공유하며 때로는 확증편향에 따라 사실을 왜곡한다. 하지만 우리는 이러한 인간의 오류에 상대적으로 관대하며 AI가 틀릴 경우 훨씬 더 엄격한 잣대를 들이댄다. 일종의 과학지상주의 또는 기술만능주의적 사고를 여기서도 발견할 수 있다. 빅테크 기업의 AI 전문가들이 오랜 기간에 걸쳐 만들었고 사전 테스트를 거쳐 경쟁 시장에 내놓은 결과물에 오류가 있을 리 없다는 생각이 저변에 깔려 있다. AI 환각에 대한 비판은 여기에서 출발한다. 그 비판은 ‘믿었던’ 기술에 배신당한 과도한 감정이기도 하다. 그러나 비판은 필요하지만 적정한 수준에서 멈춰야 한다. 

그리고 시선을 다시 인간 지식의 불완전성에 돌릴 필요가 있다. 인간 지식은 언제나 완전하지 않았다. 하지만 그 불완전성이야말로 끊임없는 탐구와 성찰을 자극하는 원천이었다. 우리가 오류를 인식하고, 더 나은 지식을 쌓아가는 과정 속에 인류 문명의 진보가 있었다. AI 역시 마찬가지다. AI의 환각을 통해 우리는 기술의 한계를 돌아보고 인간 고유의 비판적 사고력의 중요성을 재확인하게 된다. 결국 중요한 것은 완전한 도구가 아니라, 불완전한 도구를 정확히 다루는 사람의 능력이다. 우리는 AI를 경계하면서도 활용하고 신뢰하면서도 감시하는 이중적 태도를 유지해야 한다. 

☞ 네이버 뉴스스탠드에서 ‘미디어스’를 만나보세요~ 구독하기 클릭!