Mistral NeMo, 미스트랄 온디바이스 AI 모델 개요

미스트랄 사이트에 가보면 딱 이렇게 적어 놨습니다 .

 

 

미스트랄 NeMo: 새로운 최고의 소형 모델. 128k 컨텍스트 길이의 최신 12B 모델로, NVIDIA와 협력하여 제작되었으며 Apache 2.0 라이선스에 따라 출시되었습니다.

 

아파치 라이센스군요. 

 

미스트랄은 유럽의 OpenAI라고 보시면 됩니다.

 

미스트랄-네모는 퍼블릭 클라우드가 아닌 Nvidia GPU가 있는 개인 데스크탑 환경에서도 고성능 AI를 사용할 수 있도록 설계 되었다고 합니다. 

- 120억개의 매개변수와 12만8000토큰의 컨텍스트 창

- 글로벌 다국어 지원

 

다음 표는 미스트랄 NeMo 기본 모델과 최근 오픈소스 사전 학습된 두 가지 모델인 Gemma 2 9B 및 Llama 3 8B의 정확도를 비교한 것입니다.

벤치마크 결과 대부분의 작업에서 우수한 성능을 보여주고 있습니다. 

 

 

다국어 지원을 위해서 신경써서 설계 했다는 이야기가 있네요 .

 

이 모델은 글로벌 다국어 애플리케이션을 위해 설계되었습니다. 함수 호출에 대해 학습되고 컨텍스트 창이 넓으며 특히 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 중국어, 일본어, 한국어, 아랍어, 힌디어에 강합니다. 이는 인류 문화를 형성하는 모든 언어로 모든 사람이 프론티어 AI 모델을 사용할 수 있도록 하기 위한 새로운 단계입니다.

 

 

 

 

Tekken 토큰화기에 대한 설명입니다. 

 

미스트랄 NeMo는 100개 이상의 언어로 학습된 틱토큰 기반의 새로운 토큰화기인 텍켄을 사용하며, 이전 미스트랄 모델에 사용된 SentencePiece 토큰화기보다 자연어 텍스트와 소스 코드를 더 효율적으로 압축합니다.

 

특히 소스 코드, 중국어, 이탈리아어, 프랑스어, 독일어, 스페인어, 러시아어를 압축할 때 최대 30% 더 효율적입니다. 또한 한국어와 아랍어를 압축할 때 각각 2배, 3배 더 효율적입니다. Llama 3 토큰라이저와 비교했을 때, 전체 언어의 약 85%에서 텍스트를 압축하는 데 더 능숙하다는 것이 입증되었습니다.

 

 

아직 모바일을 지원하지 않는것이 좀 아쉽습니다. 

 

하지만 뭐든 대용량 고성능만을 지향하는 요즘 AI 개발 풍토에서 의미있는 모델인것은 확실한것 같습니다. 

좀 딸리더라도 Nvidia GPU 만 있으면 돌아간다고 하니까요. ^^