빗자루검 블로그

LLM 평가 프레임 워크를 제공하는 갈릴레오 AI 에서 현존 최고 LLM들의 할루미네이션 평가를 진행해서 순위를 발표했습니다.  이 평가는 작년 11월에도 있었는데요. 그때는 Open AI의 Chat GPT 4가 휩쓸었었죠.  이번 평가에서는 순위가 뒤바뀐것들이 많았습니다.  벤치마크의 기준은 다음과 같습니다.   "새로운 지수는 22개의 주요 모델이 주어진 컨텍스트에 얼마나 잘 부합하는지를 평가하여 개발자가 가격과 성능의 균형을 맞출 때 정보에 입각한 결정을 내릴 수 있도록 지원합니다. 저희는 1,000~100,000개의 토큰을 입력한 상위 LLM을 대상으로 엄격한 테스트를 실시하여 짧은, 중간, 긴 컨텍스트 길이에서 얼마나 잘 작동하는지에 대한 질문에 답했습니다."  다음 3가지로 컨텍스트 길이가 다..

메타의 라마 3.1 405B 모델 출시 하루만에 유럽 인공지능(AI) 스타트업 미스트랄 AI가 플래그십 대형언어모델(LLM) '라지(Large)'의 신규 버전을 공개해버렸습니다. 라지 2 모델은 1230억개(123B)의 매개변수로, 12만8000 토큰의 컨텍스트 창을 제공하지만 라마 3.1 중 가장 큰 모델(405B)에 비해 매개변수가 3분의 1도 안 되는 크기라고 합니다. (라고는 해도 무지하게 큰 모델입니다) 하지만 이미지를 이해하거나 입력할 수 있는 멀티모달 기능은  Llama 3.1 처럼 제공하지 않습니다.  어찌되었건 간에 초대형 모델들이 마구 쏟아져 나오는군요.  연구 및 비상업적 용도로 사용 및 수정할 수 있는 Mistral Research 라이선스이지만 자체 배포가 필요한 상업적 용도로 미..

리눅스 wget은 웹에서 파일을 다운로드하는 데 사용되는 인기 있는 명령줄 도구입니다. wget은 네트워크 연결 상태와 상관없이 안정적으로 파일을 다운로드할 수 있으며, 다양한 프로토콜(HTTP, HTTPS, FTP)을 지원합니다. 1. 기본 다운로드 wget http://example.com/file.zip이 명령은 http://example.com/file.zip 파일을 현재 디렉토리로 다운로드합니다. 2. 파일 이름 지정하여 다운로드wget -O newfile.zip http://example.com/file.zip다운로드한 파일의 이름을 newfile.zip으로 지정하여 저장합니다. 3. 백그라운드 다운로드wget -b http://example.com/file.zip파일을 백그라운드에서 다운로드..

메타에서 엄청난 규모의 오픈소스 LLM 모델을 발표했습니다. (이걸 돌려 볼 수는 있는 환경을 갖춘 사람이 몇이나 될까... 싶지만) 메타 자료에 보면 다음과 같은 자부심이 있네요.  "지금까지 오픈 소스 대규모 언어 모델은 기능 및 성능 면에서 대부분 폐쇄형 언어 모델에 비해 뒤쳐져 있었습니다. 이제 오픈소스가 주도하는 새로운 시대가 열리고 있습니다. 세계 최대 규모이자 가장 뛰어난 성능을 자랑하는 오픈 소스 기반 모델인 Meta Llama 3.1 405B를 공개적으로 출시합니다" Llama 3.1 최신 모델에는 컨텍스트 길이가 128K로 확장되고 8개 언어 지원이 추가되었으며, 최초의 프론티어급 오픈 소스 AI 모델인 Llama 3.1 405B가 포함되어 있습니다.Llama 3.1 405B는 일반 지..

미스트랄 사이트에 가보면 딱 이렇게 적어 놨습니다 .   미스트랄 NeMo: 새로운 최고의 소형 모델. 128k 컨텍스트 길이의 최신 12B 모델로, NVIDIA와 협력하여 제작되었으며 Apache 2.0 라이선스에 따라 출시되었습니다.  아파치 라이센스군요.  미스트랄은 유럽의 OpenAI라고 보시면 됩니다.  미스트랄-네모는 퍼블릭 클라우드가 아닌 Nvidia GPU가 있는 개인 데스크탑 환경에서도 고성능 AI를 사용할 수 있도록 설계 되었다고 합니다. - 120억개의 매개변수와 12만8000토큰의 컨텍스트 창- 글로벌 다국어 지원 다음 표는 미스트랄 NeMo 기본 모델과 최근 오픈소스 사전 학습된 두 가지 모델인 Gemma 2 9B 및 Llama 3 8B의 정확도를 비교한 것입니다.벤치마크 결과 대..

오픈AI가 새로운 언어모델 GPT-4o 미니(mini)'를 출시했습니다.   보유 중인 대형언어모델(LLM) 중 가장 크기가 작은 소형 모델이며 사용비용을 확 줄여서 개발자들의 부담을 덜어주겠다는 의도라고 합니다. 성능도 동급 모델중 가장 뛰어나다고 홍보하고 있습니다.  가격은 입력 토큰 100만 개당 15센트, 출력 토큰 100만 개당 60센트로, 이전 프론티어 모델보다 훨씬 저렴하고 GPT-3.5 터보보다 60% 이상 저렴하다고 합니다.  현재 GPT-4o mini는 API에서 텍스트와 비전을 지원하며, 향후 텍스트, 이미지, 비디오, 오디오 입력 및 출력에 대한 지원도 추가될 예정입니다. 이 모델은 128K 토큰의 컨텍스트 창을 가지고 있으며, 요청당 최대 16K 출력 토큰을 지원하고, 2023년 ..

예전에는 속초 여행하면 속초해수욕장, 대포항, 물치항, 낙산해수욕장 등등 에서만 시간을 보냈었는데요. 요즘은 오징어난전이나 속초중앙시장에도 많은 사람들이 몰려갑니다. 물론 맛있는 음식과 볼거리가 많이 때문이죠~ 저도 이번에 한번 들러봤습니다. 깔끔하게 정비되어 참 좋더군요.  속초 중앙재래시장과 속초관광수산시장은 연결되어있습니다. 굳이 구분하지 않고 둘러보시면 됩니다.  1. 속초 중앙시장(속초관광수산시장) 위치  및 주차 정보 고속터미널에서도 멀지 않은 위치에 있더군요.위치는 다음과 같습니다.  https://naver.me/52lhcCfx 속초관광수산시장 : 네이버방문자리뷰 714 · 블로그리뷰 13,545m.place.naver.com     위에 파란색으로 표시한 곳이 주차장입니다. 초대형으로 ..

ffmpeg으로 스트림을 송출할 때 전송 중 av_interleaved_write_frame(): Broken pipe 에러가 발생 할 수 있습니다.  저같은 경우는 rtsp 송출을 시험하면서 frame rate를 30에서 5 fps로 줄였더니 발생하더군요. 물론 여러가지 케이스가 있을 수 있겠지만 대부분은 버퍼 조정과 지연 조정으로 해결이 됩니다.  다음 기본 옵션에서는 정상 이었으나 ffmpeg -stream_loop -1 -re -i "data/test.ts" -c:v libx264 -c:a aac -f rtsp rtsp://localhost:8554/test_stream 다음과 같이 5fps로 프레임 레이트를 조절 한후 에러가 발생 했습니다. ffmpeg -stream_loop -1 -re -i ..

ffmpeg으로 시험환경을 구성하면서 udp 송출은 간단하게 구현이 되기 때문에 rtsp도 똑 같이 실행해보려고 했습니다.  아래는 udp 송출 예시 입니다.  https://yongeekd01.tistory.com/164 ffmpeg으로 nvidia gpu로 영상 인코딩 하면서 multicast 송출하기(멀티 GPU사용, hwaccel, cuda)ffmpeg으로 동영상을 송출하기에 이어서 NVIDIA 멀티 GPU를 이용하여 인코딩을 추가하여 고속으로 송출하는 방법을 알아보겠습니다. https://yongeekd01.tistory.com/163 다양한 포맷의 동영상 파일을 mpegts, udyongeekd01.tistory.com  비슷한 방법으로 아래와 같이 명령어를 주고 수행을 했더니 에러가 발생합니..

개발하면서 테스트 하다보면 스트림을 가상으로 생성해서 수신해야 하는 경우가 있습니다. 여기서는 많이 사용하는 vlc 를 이용하여 rtsp 스트림을 전송해보고 다른 app에서 수신해보겠습니다.  1. 네트워크 스트림 열기  미디어 > 스트림하기 선택    스트림할 대상 파일 추가 하기   스트림 드롭다운에서 스트림 선택  스트림 출력을 rtsp로 선택    추가하기를 눌러서 rstp 주소를 생성합니다.이 주소로 다른 장치나 app에서 access 가능 합니다.    트랜스코딩은 코덱 변경등이 필요할때는 해도 좋고 원본 대로 내보내도 상관 없습니다.    이제 스트림 버튼 누릅니다.   프로그래스 바로 재생이 시작되는 것을 볼수 있습니다.  재생 중 화면이 보이지는 않습니다. 반복 재생 하고 싶으면 아래 루..