[디지털투데이] 오픈AI, 챗GPT 오류 찾는 ‘크리틱GPT’ 공개

[디지털투데이 AI리포터] 오픈AI가 챗GPT에서 생성된 코드의 오류를 찾아내는 새로운 AI 모델 크리틱GPT(CriticGPT)를 공개했다고 27일(현지시간) IT매체 아스테크니카가 전했다. 

크리틱GPT는 GPT-4 LLMS 제품군을 기반으로 하며, 코드를 분석하고 잠재적인 오류를 지적해 사람이 알아차리지 못할 수 있는 실수를 쉽게 발견할 수 있도록 도와준다. 

연구진은 크리틱GPT를 의도적으로 버그를 삽입한 코드 샘플 데이터 세트로 학습시켜 다양한 코딩 오류를 인식하고 플래그를 지정하도록 만들었다. 그 결과, 크리틱GPT는 자연적으로 발생하는 LLM 오류와 관련된 사례의 63%에서 사람의 비평보다 더 선호됐으며, 크리틱GPT를 사용했을 때 사람이나 AI만 비평하는 것보다 더 포괄적인 비평을 작성하면서도 혼동 비율은 줄었다고 한다. 

그러나 크리틱GPT에도 한계가 있다. 이 모델은 비교적 짧은 챗GPT 답변에 대해 학습됐기 때문에 향후 AI 시스템이 처리할 수 있는 더 길고 복잡한 작업을 평가하는 데는 충분하지 않을 수 있다. 또 크리틱GPT는 착오를 줄이기는 하지만 완전히 제거하지는 못한다는 설명이다.

출처 :

https://www.digitaltoday.co.kr/news/articleView.html?idxno=523010

참고 :

https://openai.com/index/finding-gpt4s-mistakes-with-gpt-4/