IT 썸네일형 리스트형 Llama 3.1 405B 개요 (메타, 최대 규모의 오픈소스 LLM 공개) 메타에서 엄청난 규모의 오픈소스 LLM 모델을 발표했습니다. (이걸 돌려 볼 수는 있는 환경을 갖춘 사람이 몇이나 될까... 싶지만) 메타 자료에 보면 다음과 같은 자부심이 있네요. "지금까지 오픈 소스 대규모 언어 모델은 기능 및 성능 면에서 대부분 폐쇄형 언어 모델에 비해 뒤쳐져 있었습니다. 이제 오픈소스가 주도하는 새로운 시대가 열리고 있습니다. 세계 최대 규모이자 가장 뛰어난 성능을 자랑하는 오픈 소스 기반 모델인 Meta Llama 3.1 405B를 공개적으로 출시합니다" Llama 3.1 최신 모델에는 컨텍스트 길이가 128K로 확장되고 8개 언어 지원이 추가되었으며, 최초의 프론티어급 오픈 소스 AI 모델인 Llama 3.1 405B가 포함되어 있습니다.Llama 3.1 405B는 일반 지.. 더보기 Mistral NeMo, 미스트랄 온디바이스 AI 모델 개요 미스트랄 사이트에 가보면 딱 이렇게 적어 놨습니다 . 미스트랄 NeMo: 새로운 최고의 소형 모델. 128k 컨텍스트 길이의 최신 12B 모델로, NVIDIA와 협력하여 제작되었으며 Apache 2.0 라이선스에 따라 출시되었습니다. 아파치 라이센스군요. 미스트랄은 유럽의 OpenAI라고 보시면 됩니다. 미스트랄-네모는 퍼블릭 클라우드가 아닌 Nvidia GPU가 있는 개인 데스크탑 환경에서도 고성능 AI를 사용할 수 있도록 설계 되었다고 합니다. - 120억개의 매개변수와 12만8000토큰의 컨텍스트 창- 글로벌 다국어 지원 다음 표는 미스트랄 NeMo 기본 모델과 최근 오픈소스 사전 학습된 두 가지 모델인 Gemma 2 9B 및 Llama 3 8B의 정확도를 비교한 것입니다.벤치마크 결과 대.. 더보기 GPT-4o mini 개요 (API 비용 효율성 3.5 turbo의 1/10 가격) 오픈AI가 새로운 언어모델 GPT-4o 미니(mini)'를 출시했습니다. 보유 중인 대형언어모델(LLM) 중 가장 크기가 작은 소형 모델이며 사용비용을 확 줄여서 개발자들의 부담을 덜어주겠다는 의도라고 합니다. 성능도 동급 모델중 가장 뛰어나다고 홍보하고 있습니다. 가격은 입력 토큰 100만 개당 15센트, 출력 토큰 100만 개당 60센트로, 이전 프론티어 모델보다 훨씬 저렴하고 GPT-3.5 터보보다 60% 이상 저렴하다고 합니다. 현재 GPT-4o mini는 API에서 텍스트와 비전을 지원하며, 향후 텍스트, 이미지, 비디오, 오디오 입력 및 출력에 대한 지원도 추가될 예정입니다. 이 모델은 128K 토큰의 컨텍스트 창을 가지고 있으며, 요청당 최대 16K 출력 토큰을 지원하고, 2023년 .. 더보기 ffmpeg 송출 에러 av_interleaved_write_frame(): Broken pipe 해결 ffmpeg으로 스트림을 송출할 때 전송 중 av_interleaved_write_frame(): Broken pipe 에러가 발생 할 수 있습니다. 저같은 경우는 rtsp 송출을 시험하면서 frame rate를 30에서 5 fps로 줄였더니 발생하더군요. 물론 여러가지 케이스가 있을 수 있겠지만 대부분은 버퍼 조정과 지연 조정으로 해결이 됩니다. 다음 기본 옵션에서는 정상 이었으나 ffmpeg -stream_loop -1 -re -i "data/test.ts" -c:v libx264 -c:a aac -f rtsp rtsp://localhost:8554/test_stream 다음과 같이 5fps로 프레임 레이트를 조절 한후 에러가 발생 했습니다. ffmpeg -stream_loop -1 -re -i .. 더보기 ffmpeg으로 rtsp 송출하기(RTSPSimpleServer, mediamtx) ffmpeg으로 시험환경을 구성하면서 udp 송출은 간단하게 구현이 되기 때문에 rtsp도 똑 같이 실행해보려고 했습니다. 아래는 udp 송출 예시 입니다. https://yongeekd01.tistory.com/164 ffmpeg으로 nvidia gpu로 영상 인코딩 하면서 multicast 송출하기(멀티 GPU사용, hwaccel, cuda)ffmpeg으로 동영상을 송출하기에 이어서 NVIDIA 멀티 GPU를 이용하여 인코딩을 추가하여 고속으로 송출하는 방법을 알아보겠습니다. https://yongeekd01.tistory.com/163 다양한 포맷의 동영상 파일을 mpegts, udyongeekd01.tistory.com 비슷한 방법으로 아래와 같이 명령어를 주고 수행을 했더니 에러가 발생합니.. 더보기 vlc를 이용해서 동영상 파일을 rtsp 스트림으로 전송하기 개발하면서 테스트 하다보면 스트림을 가상으로 생성해서 수신해야 하는 경우가 있습니다. 여기서는 많이 사용하는 vlc 를 이용하여 rtsp 스트림을 전송해보고 다른 app에서 수신해보겠습니다. 1. 네트워크 스트림 열기 미디어 > 스트림하기 선택 스트림할 대상 파일 추가 하기 스트림 드롭다운에서 스트림 선택 스트림 출력을 rtsp로 선택 추가하기를 눌러서 rstp 주소를 생성합니다.이 주소로 다른 장치나 app에서 access 가능 합니다. 트랜스코딩은 코덱 변경등이 필요할때는 해도 좋고 원본 대로 내보내도 상관 없습니다. 이제 스트림 버튼 누릅니다. 프로그래스 바로 재생이 시작되는 것을 볼수 있습니다. 재생 중 화면이 보이지는 않습니다. 반복 재생 하고 싶으면 아래 루.. 더보기 google Gemma 2 개요 및 간단 테스트 1. 개요 LLM 시장에서 뒤쳐진 채로 열심히 뒤따라가고 있는 구글이 또 제미나이를 기반으로 하는 또 하나의 모델을 버전업 해서 출시했습니다. 항상 그렇지만 이번엔 정말 좋아요... 라는 멘트와 함께 발표자료를 보면 다음과 같네요. 효율성과 성능을 위한 새로운 개방형 모델 표준 * 특대형 성능 27B에서 Gemma 2는 해당 크기 클래스에서 최고의 성능을 제공하며, 심지어 크기가 두 배 이상인 모델에 대한 경쟁력 있는 대안을 제공합니다. 9B Gemma 2 모델도 클래스 최고의 성능을 제공하며, 크기 범주에서 Llama 3 8B 및 기타 개방형 모델을 능가합니다. * 탁월한 효율성 및 비용 절감 27B Gemma 2 모델은 단일 Google Cloud TPU 호스트, NVIDIA A100 80.. 더보기 ChatGPT API로 구현할때 토큰 수 제한 문제 해결하기(문자열 token 수 세기, tiktoken) 이전에 chatGPT를 API를 이용해서 Discord bot 을 구현 했습니다. 아래 참조 https://yongeekd01.tistory.com/193 chatGPT를 discord bot으로 만들어보자(초간단, 대화기억, chatGPT-4o)1. discord 서버 생성하기 우선 discord bot이 일을 하기 위한 서버환경을 만들어 줘야 합니다. 하나 생성해볼까요? discord를 실행하고 좌측의 + 버튼을 눌러서 서버를 생성합니다. 서버의 이름yongeekd01.tistory.com 생각해보니 채팅을 무한히 반복하면 토큰수가 초과되어 세션에 문제가 생기는걸 깜빡 했습니다. 그부분을 해결해 보겠습니다. 대화를 계속 누적해서 보내다 보니 생길 수 밖에 없는 문제겠네요. openai에서.. 더보기 이전 1 2 3 4 5 ··· 16 다음
