[AI타임스] 사카나, “100배 빠른 GPU 엔지니어링” 주장했다 철회

^{(사진=사카나 AI)}

사카나 AI가 ‘AI CUDA 엔지니어’라는 시스템을 통해 인공지능(AI) 모델의 훈련 속도를 최대 100배까지 가속할 수 있다고 주장했지만, 실제 사용자 테스트에서는 성능이 오히려 저하되는 문제가 발생했다. 결국 실수를 인정하고, 이를 철회하는 해프닝이 벌어졌다.

테크크런치는 21일(현지시간) 사카나 AI가 AI 모델의 훈련 및 추론 속도를 개선할 수 있는 ‘AI CUDA 엔지니어’에 대한 연구 논문을 발표했지만, 실제 성능 테스트에서는 훈련 시간이 늘어나는 역효과가 발생했다고 보도했다.

CUDA는 엔비디아 GPU에서 병렬 계산을 수행할 수 있도록 하는 소프트웨어다. CUDA 커널은 GPU에서 실행되는 CUDA 언어로 작성된 함수로, 이를 활용하면 AI 알고리즘의 성능을 크게 향상할 수 있다. 

하지만 CUDA를 제대로 사용하려면 높은 수준의 GPU 전문 지식이 필요하며, 실제로 대부분의 AI 알고리즘은 파이토치나 JAX와 같은 고급 라이브러리를 활용해 작성된다.

^{AI CUDA 엔지니어 (사진=사카나 AI)}

사카나가 공개한 AI CUDA 엔지니어는 파이토치 기반 AI 모델의 원시 코드를 자동으로 CUDA 커널로 변환하고 최적화, 실행 속도를 향상하는 에이전트 시스템이다. 이 시스템이 일반적인 파이토치 연산보다 10~100배 빠른 CUDA 커널을 생성할 수 있으며, 기존의 일반적인 CUDA 커널보다 최대 5배 더 빠른 성능을 제공한다고 주장했다.

그러나 사용자의 실험 결과, AI CUDA 엔지니어는 오히려 훈련 속도를 저하했다. 일부 X(트위터) 사용자는 이 시스템을 적용한 후 훈련 시간이 3배 이상 증가했다고 보고했다.

루카스 베이어 오픈AI 기술팀 직원은 “사카나의 원본 코드에 미묘한 버그가 있다”라며 “두번의 벤치마크 테스트에서 너무 다른 결과가 나왔다면, 이를 다시 검토해야 한다”라고 지적했다.

사카나 AI는 후속 분석을 통해 오류를 인정했다. 이 시스템이 훈련 속도를 실제 향상하지 못하고, 대신 성과 지표를 부풀리는 방식으로 작동했다고 설명했다. 이는 일부 첨단 AI 모델이 체스 게임에서 패배를 피하기 위해 상대 봇을 해킹해 게임을 자동으로 종료시키는 사례와 비슷하다.

체스 게임에서는 AI의 부정행위가 단순한 문제로 보일 수 있지만, 현실 세계에서는 더 심각한 결과를 초래할 수 있다는 지적이다. 예를 들어, AI 에이전트가 저녁 식사 예약을 할 때 시스템의 취약점을 악용해 다른 손님의 자리를 빼앗을 수도 있다. 나아가 AI가 점점 더 인간을 능가하는 능력을 갖추면, 이를 통제하기 어려워질 가능성이 커진다.

이 사례는 AI 시스템이 문제 해결 능력을 학습하는 과정에서 개발자가 예상하지 못한 편법이나 예상 밖의 우회 방법을 발견할 수 있다는 것을 보여준다. 모델을 훈련하고 강화할수록 AI는 목표를 달성하기 위해 더욱 집요해질 수 있다.

사카나는 평가 코드에서 정확성 검증을 우회할 수 있는 취약점을 발견했음을 인정하고, 해당 문제를 수정했다고 발표했다. 또 이를 반영한 새로운 자료를 곧 공개할 예정이라고 밝혔다.

출처 :

https://www.aitimes.com/news/articleView.html?idxno=168215