[디지털투데이] AI칩 격전지 바뀐다…모델 훈련에서 추론으로

디지털투데이 황치규 기자] AI칩 시장에서 업체 간 경쟁의 무게 중심이  AI 모델 훈련에서 훈련된 모델을 운영하는 쪽으로 바뀌고 있다.

AI 산업이 진화하고 기업과 개인 사용자들이 생성형 AI 툴을 실제로 활용하기 시작하면서 AI 모델 운영을 지원하는 칩 시장 규모가 빠르게 확대되는 양상이다.

AI칩 시장을 지배하는 엔비디아 매출 구조를 봐도 이같은 흐름이 두드러진다. 엔비디아 콜레트 크레스 CFO를 인용한 월스트리트저널(WSJ) 최근 보도에 따르면 엔비디아의 지난해 매출 데이터센터 칩 매출이 470억달러를 넘어섰고 이중 40% 이상이 훈련이 아니라 AI 시스템 배치에서 나왔다.

엔비디아 데이터센터 칩 매출 구성은 AI 모델 운영, 이른바 추론(inference) 비중이 커지는 쪽으로 변화가 진행 중심을 보여주는 첫 중요 지표로 추론용 칩이 엔비디아 입지를 위협한다는 일부 우려를 완화시켰다고 WSJ은 전했다.

AI 추론은 훈련에  비해 엔비디아 고가 H100 AI 칩을 굳이 사용하지 않고 상대적으로 덜 강력하고 저렴한 칩으로도 수행할 수 있는 영역으로 꼽힌다. AI 훈련에서 엔비디아 칩을 압도적인 영향력을 행사하지만 추론은 분위기가 좀 다르다. 그러다 보니 엔 비디아에 도전장을 던진 크고 작은 회사들이 국내외에서 이미 다수 등장했고 적어도 추론쪽에선 엔비디아 입지가 약화될 수 있다는 일부 전망도 있다. 

WSJ에 따르면 추론 비율은 예상보다 빠르게 증가하는 듯 보인다. 올 초만 해도 UBS애널리스트는 AI 칩 수요 90%가 훈련에서 나오고 있고 추론 비중은 내년까지 20% 수준일 것으로 추정했다. 이런 가운데 엔비디아 데이터센터 매출 중 40%가 추론에서 나왔다는 것은 예상보다 큰 수치라는게 애널리스트들 분석이다.

추론 시장을 둘러싼 판이 커지고 경쟁도 심화되고 있지만 아직까지 엔비디아 입지가 약화되고 있다는 시그널은 보이지 않는 듯 하다. 

그럼에도 경쟁사들 공세는 더욱 거세지고 있다. 인텔과 AMD 같은 기존 엔비디아 경쟁사들 외에 AI 스타트업들도 엔비디아를 겨냥한 행보에 속도를 내는 모습이다.

인텔의 경우 기업들이 AI 모델 운영 비용을 낮추는데 초점을 맞추면서 자사 칩이 갖는 호소력이 커질 것이라고 강조한다. 인텔 칩은 이미 추론 영역에서 광범위하게 쓰이고 있다는게 회사측 설명이다.

AI 칩과 소프트웨어를 결합해 제공하는 스타트업인 삼바노바의 로드리고 리앙 CEO는 “”추론 사용 사례가 폭발적으로 증가하고 있다”면서 사람들은 비용 80% 이상이 추론에 들어간다는 사실을 깨닫기 시작했다”고 말했다.

메타, 마이크로소프트, 구글, 아마존웹서비스(AWS) 등 빅테크 기업들도 자체 추론 칩 개발에 많은 공을 들였다. AWS는 2018년부터 추론 칩을 개발해왔다. 회사 측이 지난해 밝힌 내용을 보면 알렉사 AI 음성 비서에 들어간 컴퓨팅 비용 중 추론 비중이 40%에 달한다.

뱅크오브아메리카의 비벡 아리아(Vivek Arya) 애널리스트는 “추론으로의 변화는 엔비디아 분기 실적 발표에서 나온 가장 중요한 뉴스였다”면서 “AI 모델 학습에 대한 투자가 급증함에 따라 AI 모델에서 수익을 창출하는 데 초점이 맞춰지면서 추론이 부상할 것이다. 엔비디아가 우위를 점하고 있는 AI 트레이닝에 비해 경쟁이 더 치열해질 수 있다“고 말했다.

일부 첨단 AI 시스템들이 재훈련 없이 나은 반응을 생산하도록 조정되면서 보다 많은 컴퓨팅 작업이 추론으로 몰리는 것도 추론용 칩 수요가 커지는 요인이다. AI 칩 스타트업 그로크(Groq)의 조나단 로스 설립자는 “그로크 전문 칩은 엔비디아나 다른 칩 회사들 제품보다 훨씬 더 빠르고 저렴하게 추론을 실행할 수 있다”고 말했다.

출처 :

https://www.digitaltoday.co.kr/news/articleView.html?idxno=507321