[디지털투데이] 챗GPT에 ‘심호흡’ 지시하면 수학 문제 더 잘푼다…연구

[디지털투데이 AI리포터] 구글 딥마인드 연구진이 챗GPT와 같은 대규모 언어 모델(LLM)의 수학 능력을 향상시키는 방법을 개발했다. 

이는 OPRO(Optimization by PROmpting)로, 자연어를 통한 문제 해결법을 제시하는 것이다. 즉, 인간적인 격려를 사용하면 언어 모델의 수학 능력이 극적으로 향상된다. 

19일(현지시간) IT매체 아스테크니카에 따르면 이번 발표에서 가장 흥미로운 부분은 특정 문구가 결과에 미치는 영향이다. 연구 결과, ‘단계적으로 생각해보다’와 같은 문구는 수학 문제 해결 시 각 AI 모델이 더 정확한 결과를 생성하도록 유도했다. 

예를 들어 챗봇에 ‘일주일에 2다스의 쿠키 4판을 구워 이를 16명의 사람에게 나눠주면 한 명당 몇 개의 쿠키를 먹게 될까?’라는 질문을 할 때, ‘단계별로 생각해보자’는 문구를 함께 제공하면 정확성이 향상된다. 이 메커니즘은 챗GPT와도 잘 작동했다. 

또한 딥마인드 연구진은 구글 팜2(PaLM 2)에는 ‘심호흡을 하고 이 문제를 단계별로 해결해 보세요’라는 프롬프트가 가장 효과적임을 발견했다. 이 문구를 적용했을 때 팜2는 초등학교 수준 수학 테스트인 GSM8K에서 최고 정확도인 80.2%를 달성했다. 

그렇다면 이 방법이 왜 효과적일까? 당연히 언어 모델은 폐나 신체가 없기 때문에 심호흡을 할 수 없고, 인간처럼 생각하거나 추론하지도 않는다. 이는 언어 모델이 추출하는 인터넷의 방대한 데이터셋과 관련이 있다. 

이 데이터셋은 Q&A 포럼 등 다양한 소스에서 추출되는데, 종종 ‘깊게 숨을 들이마시자’나 ‘한 단계씩 생각해 보자’와 같은 구문이 문제 해결의 예를 제시하기 전에 나타난다. 그렇기 때문에 이 구문을 함께 제공하면 언어 모델이 더 우수한 답변에 접근하거나, 정보 기반 문제 해결하는 데에 도움이 될 수 있는 것이다.

출처 :

http://www.digitaltoday.co.kr/news/articleView.html?idxno=488712