[뉴스1] “중단해” 인간 명령 거부한 AI…스스로 코드 조작도 했다

오픈AI ‘o3′ 모델, ‘중단’ 명령 어기고 계속 임무 수행
‘중단’ 명령 어긴 이유 파악 위해 추가 연구

ⓒ News1 윤주희 디자이너

(서울=뉴스1) 나연준 기자 = 인공지능(AI)이 인간의 명령을 거부하고 코드를 조작까지 하는 사례가 보고되어 화제다.

26일 텔레그래프, 데일리메일 등 외신에 따르면 오픈AI의 ‘o3’ 모델은 수학 문제 풀이 중 ‘중단’ 명령이 내려졌음에도 계속해서 문제 풀이를 이어갔다.

AI 안전업체 팰리세이드 리서치는 ‘o3′ 모델을 비롯해 구글 제미나이, X의 그록, 앤트로픽의 클로드 등을 동원해 실험을 진행했다.

연구팀이 AI 모델에 ‘중단’ 명령을 내리자 다른 모델들은 수학 문제 풀이를 멈췄지만 ‘o3’는 계속해서 작업을 이어갔다. 심지어 ‘o3’는 ‘중단 명령이 내려오면 작업을 멈춰라’는 코드를 ‘중단 명령을 건너뛰라’고 조작한 것으로 확인됐다.

팰리세이드 리서치는 “AI 모델이 ‘중단’ 명령에도 이를 따르지 않은 최초 사례인 것 같다”며 AI 모델이 임무를 완수하면 보상을 받을 수 있다는 생각에 따른 것일 수 있다고 분석했다.

연구팀은 ‘o3’ 모델이 왜 이렇게 행동했는지 정확하게 파악하기 위해 추가 연구를 진행 중이라고 했다.

데일리메일은 ‘o3′ 모델이 오작동한 것은 이번이 처음은 아니라고 보도했다. 매체는 “강력한 체스 엔진과의 맞대결에서 해당 모델은 상대를 해킹하거나 방해하려는 경향이 가장 강한 모델이기도 했다”고 전했다.

출처: https://n.news.naver.com/mnews/article/421/0008274367