[조선Biz] 오픈AI ‘챗GPT’ 성능 좋아졌다는데… ‘거짓 정보 제공’ 환각 현상은 왜 더 심해질까

추론형 AI 모델 성능 충분히 높지 않아
학습 데이터가 불완전하거나 결함 있으면 환각 가능성
“정확성 중요한 법률, 의료 분야에선 치명적”
해결책으로 웹 검색 기능 도입 거론

오픈AI와 챗GPT./연합뉴스

 

지난 2월 미국 와이오밍주 연방법원은 인공지능(AI)이 생성한 허위 판례를 인용한 원고 측 로펌 모건앤모건 소속 변호사 2명에게 5000달러(약 720만원)의 벌금을 부과했다. 피고 측인 월마트의 변호인단이 원고 측이 인용한 판례 9개를 찾을 수 없다며 법원에 항의한 뒤 내려진 조치다. 변호사들은 “의도하지 않은 실수”라고 해명했지만, 로펌은 두 변호사를 해고하고 소속 변호사 1000여명에게 “AI가 생성한 가짜 판례를 법원 서류에 인용할 경우 해고될 수 있다”는 안내문을 발송했다.

앞서 뉴욕주에서도 변호사들이 챗GPT가 생성한 허위 판례를 인용했다가 법원의 제재를 받았다. 미국에서는 챗GPT가 대중화된 최근 2년 사이 최소 9건의 소송에서 변호사들이 AI가 생성한 잘못된 정보를 꼼꼼히 확인하지 않고 인용하는 실수를 저질러 법조계를 충격에 빠뜨렸다.

가짜 판례는 AI가 잘못된 정보를 그럴듯한 사실인 것처럼 제공하는 ‘환각(hallucination)’ 현상의 대표적인 사례다. 존재하지 않는 과학 논문 제목을 꾸며내거나 일어나지 않은 사건을 역사적 사실인 양 나열하는 것도 챗GPT 등 AI 이용자들이 자주 경험하는 환각 현상이다. 최근 오픈AI가 공개한 코딩에 특화된 추론형 인공지능(AI) 모델 챗GPT ‘o3’와 ‘o4 미니’가 이전 모델보다 성능이 좋아졌음에도 불구하고 환각 현상이 심해진 것으로 나타나 논란이 되고 있다.

오픈AI는 ‘o3’가 “역대 가장 뛰어난 추론 모델”이라고 홍보했지만, o3는 오픈AI의 자체 벤치마크 테스트인 퍼슨 QA에서 33%의 환각 반응률을 보였다. 전작 o1의 16%와 비교해 환각 반응률이 2배 정도 높아졌다. ‘o4 미니’의 환각률은 48%에 육박했다.

AI 업계는 고질적인 환각 문제를 없애기 위해 노력하고 있지만 좀처럼 해소되지 않는 모습이다. 환각 발생 원인은 아직 명확히 밝혀지지 않았지만, 일부 전문가들은 추론형 AI 모델의 성능이 아직 충분히 고도화되지 않은 데다, 분야별로 고품질 데이터가 마련되지 않아 문제가 지속되고 있다고 분석했다.

AI 모델은 방대한 양의 데이터를 학습한 뒤 데이터 내 반복되는 규칙을 발견하고, 그 흐름을 토대로 결론을 도출하거나 특정 작업을 수행한다. 구글은 “이런 예측 정확성은 학습 데이터의 품질과 완전성에 따라 달라지는 경우가 많다”고 했다. 학습 데이터가 불완전하거나 편향되거나 결함이 있으면 AI 모델에서 잘못된 패턴을 학습해 부정확한 예측을 하거나 환각이 발생할 수 있다는 설명이다.

일례로 AI 모델이 이미지 데이터로 암세포를 식별하는 방법을 학습할 수 있는데, 학습을 위해 입력한 데이터에 정상 조직의 이미지가 포함되어 있지 않으면 AI 모델은 정상 조직이 암에 걸렸다고 오판할 수 있다.

이재은 기자
출처: https://biz.chosun.com/it-science/ict/2025/04/27/2ZBI6O6KAZD3NLWY2XB4KJ2JPM/