[AI타임스] ‘스트리트 파이터 3’ LLM 대전서 ‘GPT-3.5’ 첫 우승

‘SF3 LLM 콜로세움’ 격투 장면 (사진=유튜브, Matthew Berman 채널 ‘Your Favorite LLMs BATTLE In Street Fighter – New Benchmark!!’ 캡처)

대형언어모델(LLM)끼리 겨룬 비디오 게임 ‘스트리트 파이터 3’ 대회에서 ‘GPT-3.5’가 첫 우승을 차지했다.

톰스하드웨어는 4일(현지시간) 샌프란시스코에서 열린 미스트랄 AI 해커톤에서 GPT-3.5가 오픈AI와 미스트랄 AI의 다른 모델들을 꺾고 우승을 차지했다고 보도했다.

이에 따르면 이번 행사는 미스트랄 AI가 LLM의 게임 플레이 능력을 측정하기 위해 고안한 ‘SF3 LLM 콜로세움’이라는 벤치마크의 일종이다. LLM 전용 게임 대회는 처음이라는 설명이다.

LLM을 PC의 에뮬레이터에 연결하는 방식으로, 화면에 대한 텍스트 설명을 제공했다. 즉 플레이어의 이전 동작과 상대방의 동작 및 두 캐릭터의 체력 게이지 등을 기반으로 어떤 동작을 할지 계산하도록 지시했다.

게임 중 ‘켄’ 캐릭터만 사용하도록 제한됐다. 이동과 점프, 펀치, 킥은 물론 파동권이나 승룡권같은 특수 기술도 사용했다.

미스트랄 AI는 자체 모델의 여러 버전으로 첫번째 테스트를 진행했으나, 이후 오픈AI의 모델들을 도입해 흥미를 배가했다. 여기에는 미스트랄의 라지, 미디엄, 스몰 등 3가지 모델과 오픈AI의 ‘GPT-3.5 터보’ ‘GPT-4’ ‘GPT-4 터보’ 등이 모두 8가지 버전의 LLM이 포함됐다.

풀 리그 방식으로 많은 전투가 펼쳐졌고, 그 결과 GPT-3.5 터보가 승률에 따른 총점 1776.11로 1위를 차지했다. 미스트랄 스몰 파이널버전(1586.16점)이 뒤를 이었다.

일반적인 성능이 더 뛰어난 ‘GPT-4’의 4가지 버전이 3~6위로 밀렸고,  미스트랄 AI도 큰 모델 2종이 최하위권에 그쳤다. 

미스트랄 AI의 운영진은 이번 시합을 통해 “더 작은 모델은 일반적으로 대기 시간과 속도 이점이 있으며, 이는 이 게임에서 더 많은 시합에서 승리한다는 의미”라고 설명했다. 인간의 격투가 그렇듯 빠른 반응으로 이점을 얻을 수 있다는 설명이다.

한편, 반조 오바요미 아마존 임원이 별도로 14개의 LLM으로 314개의 경기를 치른 결과, 앤트로픽의 ‘클로드 3 하이쿠’가 1위를 차지했다. 하이쿠 역시 클로드 3 중 가장 작은 모델이다.

또 오바요미는 모델의 환각이나 가드레일 같은 장치가 게임의 플레이를 방해한다는 사실도 알아냈다고 밝혔다.

한편 미스트랄 AI는 프로젝트의 소스 코드를 깃허브에 공개했다. 따라서 누구나 슈퍼컴퓨터 없이도 이를 시도해 볼 수 있다고 전했다.

임대준 기자

출처 : https://www.aitimes.com/news/articleView.html?idxno=158617