GPT-4o mini 개요 (API 비용 효율성 3.5 turbo의 1/10 가격)

오픈AI가 새로운 언어모델 GPT-4o 미니(mini)'를 출시했습니다.  

 

보유 중인 대형언어모델(LLM) 중 가장 크기가 작은 소형 모델이며 사용비용을 확 줄여서 개발자들의 부담을 덜어주겠다는 의도라고 합니다. 

성능도 동급 모델중 가장 뛰어나다고 홍보하고 있습니다. 

 

가격은 입력 토큰 100만 개당 15센트, 출력 토큰 100만 개당 60센트로, 이전 프론티어 모델보다 훨씬 저렴하고 GPT-3.5 터보보다 60% 이상 저렴하다고 합니다. 

 

현재 GPT-4o mini는 API에서 텍스트와 비전을 지원하며, 향후 텍스트, 이미지, 비디오, 오디오 입력 및 출력에 대한 지원도 추가될 예정입니다. 이 모델은 128K 토큰의 컨텍스트 창을 가지고 있으며, 요청당 최대 16K 출력 토큰을 지원하고, 2023년 10월까지의 지식을 보유하고 있습니다. 

GPT-4o와 공유되는 개선된 토큰화기 덕분에 이제 영어가 아닌 텍스트에서 불필요하게 늘어난 토큰을 처리해서 생기는 비용 낭비를 줄여줄 수 있습니다. 

 

GPT-4o mini는 텍스트 지능과 다중 모드 추론 모두에서 GPT-3.5 Turbo 및 기타 소형 모델을 능가하며 GPT-4o와 동일한 범위의 언어를 지원합니다.

또한 개발자가 데이터를 가져오거나 외부 시스템으로 작업을 수행하는 애플리케이션을 구축할 수 있는 함수 호출에서 강력한 성능을 보여주며, GPT-3.5 터보에 비해 긴 컨텍스트 성능도 향상되었습니다.

 

다음은 벤치마크 결과 입니다.

 

모델은 추론 능력 측정 벤치마크인 MMLU에서 82%의 점수를 받으며 제미나이 1.5 플래시의 79%, 클로드 3 하이쿠의 75%를 능가한다고 합니다. 

수학적 추론 능력에서는 MGSM에서는 87%로, 플래시 78%, 하이쿠 72%를 넘었고 코딩 성능을 측정하는 휴먼이밸에서도 87.2%로 플래시 71.5%, 하이쿠 75.9%를 제치고 1위를 차지했다고 합니다. 

 

 

이전과 마찬가지로 혐오 발언, 성인 콘텐츠, 주로 개인 정보를 수집하는 사이트, 스팸 등 모델이 학습하거나 출력하지 않기를 원하는 정보를 필터링 합니다

GPT-4o mini는 API 사용시 명령 계층 구조 방식을 적용한 최초의 모델로, 탈옥, 프롬프트 주입, 시스템 프롬프트 추출에 대한 모델의 저항력을 향상시키며 이를 통해 모델의 응답이 더욱 안정적이고 대규모 애플리케이션에서 더 안전하게 사용할 수 있습니다.

 

사용 가격

 

GPT-4o mini는 Assistants API, Chat Completions API, Batch API 에서 텍스트 및 비전 모델로 사용할 수 있습니다.

개발자는 1M 입력 토큰당 15센트, 1M 출력 토큰당 60센트(표준 책의 약 2500페이지에 해당)를 지불하도록 책정되었습니다. 

gpt3.5-tubo 모델을 사용할때(1M당 2달러)의 거의 1/10 로 가격을 낮게 책정한 셈이네요.