Llama 3.1 405B 개요 (메타, 최대 규모의 오픈소스 LLM 공개)

메타에서 엄청난 규모의 오픈소스 LLM 모델을 발표했습니다. 

(이걸 돌려 볼 수는 있는 환경을 갖춘 사람이 몇이나 될까... 싶지만)

 

메타 자료에 보면 다음과 같은 자부심이 있네요. 

 

"지금까지 오픈 소스 대규모 언어 모델은 기능 및 성능 면에서 대부분 폐쇄형 언어 모델에 비해 뒤쳐져 있었습니다. 이제 오픈소스가 주도하는 새로운 시대가 열리고 있습니다. 세계 최대 규모이자 가장 뛰어난 성능을 자랑하는 오픈 소스 기반 모델인 Meta Llama 3.1 405B를 공개적으로 출시합니다"

 

Llama 3.1 최신 모델에는 컨텍스트 길이가 128K로 확장되고 8개 언어 지원이 추가되었으며, 최초의 프론티어급 오픈 소스 AI 모델인 Llama 3.1 405B가 포함되어 있습니다.

Llama 3.1 405B는 일반 지식, 조향성, 수학, 도구 사용, 다국어 번역 등 최첨단 기능에 있어 최고의 AI 모델에 필적하는 최초의 공개용 모델입니다. 

 

16,000개 이상의 H100 GPU로 밀어붙여 405B를 이 규모로 훈련된 최초의 라마 모델이라고 하네요.

어마어마한 리소스를 투입했네요. 

 

공개 첫날부터 AWS, NVIDIA, 데이터브릭스, Groq, Dell, Azure, Google Cloud, Snowflake 등 25개 이상의 파트너가 서비스를 제공할 예정이고 llama.meta.com과 Hugging Face에서 다운로드할 수 있도록 커뮤니티에 공개하고, 광범위한 파트너 플랫폼 에코시스템에서 즉시 개발할 수 있도록 준비 했다고 합니다. 

 

1. 모델 평가 

 

이번 릴리스에서는 다양한 언어에 걸친 150개 이상의 벤치마크 데이터 세트에서 성능을 평가했습니다. 또한 실제 시나리오에서 경쟁 모델과 Llama 3.1을 비교하는 광범위한 인적 평가를 수행했습니다.

주력 모델은 GPT-4, GPT-4o, Claude 3.5 Sonnet 등 다양한 작업에서 주요 기반 모델과 경쟁력이 있는 것으로 나타났습니다. 또한, 소규모 모델은 비슷한 수의 파라미터를 가진 폐쇄형 및 개방형 모델과도 경쟁력이 있다고 보입니다. 

 

먼저 405B 모델의 결과를 보겠습니다.

다양한 파트에서 성능값이 앞서는 결과를 보여주고 있네요.

 

 

 

다음은 작은 파라메터를 갖는 모델들의 비교입니다. 

이 모델은 거의 모든 파트에서 타사 상용 동급 모델들을 앞서고 있네요. 

이런게 공짜라니...

 

 

 

다음은 모델간 코딩 능력 평가 입니다. GPT-4o에는 못미치네요.

 

 

Llama는 아시다시피 오픈 모델이기 때문에 그 자체로 의미가 큽니다. 

 

메타가 아래와 같은 그들의 의지를 끝까지 지켜주길 기대합니다. 

 

" 많은 사람들이 폐쇄형 모델이 더 비용 효율적이라고 주장할 수 있지만, 인공 분석의 테스트에 따르면 라마 모델은 업계에서 토큰당 비용이 가장 낮습니다. 또한, 마크 저커버그가 언급했듯이 오픈소스는 전 세계의 더 많은 사람들이 AI의 혜택과 기회에 접근할 수 있도록 하고, 소수의 사람들에게 권력이 집중되지 않으며, 사회 전반에 걸쳐 기술이 보다 균등하고 안전하게 배포될 수 있도록 보장할 것입니다. 이것이 바로 오픈 액세스 AI가 업계 표준이 될 수 있도록 계속해서 발걸음을 내딛는 이유입니다."

 

 

다음은 다운로드 사이트 입니다 .

 

https://llama.meta.com/

Llama 3.1

 

 

https://github.com/meta-llama/llama-models

GitHub - meta-llama/llama-models: Utilities intended for use with Llama models.

 

 

 

https://huggingface.co/collections/meta-llama/llama-31-669fc079a0c406a149a5738f

Llama 3.1 - a meta-llama Collection