빗자루검 블로그

미스트랄 사이트에 가보면 딱 이렇게 적어 놨습니다 .   미스트랄 NeMo: 새로운 최고의 소형 모델. 128k 컨텍스트 길이의 최신 12B 모델로, NVIDIA와 협력하여 제작되었으며 Apache 2.0 라이선스에 따라 출시되었습니다.  아파치 라이센스군요.  미스트랄은 유럽의 OpenAI라고 보시면 됩니다.  미스트랄-네모는 퍼블릭 클라우드가 아닌 Nvidia GPU가 있는 개인 데스크탑 환경에서도 고성능 AI를 사용할 수 있도록 설계 되었다고 합니다. - 120억개의 매개변수와 12만8000토큰의 컨텍스트 창- 글로벌 다국어 지원 다음 표는 미스트랄 NeMo 기본 모델과 최근 오픈소스 사전 학습된 두 가지 모델인 Gemma 2 9B 및 Llama 3 8B의 정확도를 비교한 것입니다.벤치마크 결과 대..

오픈AI가 새로운 언어모델 GPT-4o 미니(mini)'를 출시했습니다.   보유 중인 대형언어모델(LLM) 중 가장 크기가 작은 소형 모델이며 사용비용을 확 줄여서 개발자들의 부담을 덜어주겠다는 의도라고 합니다. 성능도 동급 모델중 가장 뛰어나다고 홍보하고 있습니다.  가격은 입력 토큰 100만 개당 15센트, 출력 토큰 100만 개당 60센트로, 이전 프론티어 모델보다 훨씬 저렴하고 GPT-3.5 터보보다 60% 이상 저렴하다고 합니다.  현재 GPT-4o mini는 API에서 텍스트와 비전을 지원하며, 향후 텍스트, 이미지, 비디오, 오디오 입력 및 출력에 대한 지원도 추가될 예정입니다. 이 모델은 128K 토큰의 컨텍스트 창을 가지고 있으며, 요청당 최대 16K 출력 토큰을 지원하고, 2023년 ..

ffmpeg으로 스트림을 송출할 때 전송 중 av_interleaved_write_frame(): Broken pipe 에러가 발생 할 수 있습니다.  저같은 경우는 rtsp 송출을 시험하면서 frame rate를 30에서 5 fps로 줄였더니 발생하더군요. 물론 여러가지 케이스가 있을 수 있겠지만 대부분은 버퍼 조정과 지연 조정으로 해결이 됩니다.  다음 기본 옵션에서는 정상 이었으나 ffmpeg -stream_loop -1 -re -i "data/test.ts" -c:v libx264 -c:a aac -f rtsp rtsp://localhost:8554/test_stream 다음과 같이 5fps로 프레임 레이트를 조절 한후 에러가 발생 했습니다. ffmpeg -stream_loop -1 -re -i ..

ffmpeg으로 시험환경을 구성하면서 udp 송출은 간단하게 구현이 되기 때문에 rtsp도 똑 같이 실행해보려고 했습니다.  아래는 udp 송출 예시 입니다.  https://yongeekd01.tistory.com/164 ffmpeg으로 nvidia gpu로 영상 인코딩 하면서 multicast 송출하기(멀티 GPU사용, hwaccel, cuda)ffmpeg으로 동영상을 송출하기에 이어서 NVIDIA 멀티 GPU를 이용하여 인코딩을 추가하여 고속으로 송출하는 방법을 알아보겠습니다. https://yongeekd01.tistory.com/163 다양한 포맷의 동영상 파일을 mpegts, udyongeekd01.tistory.com  비슷한 방법으로 아래와 같이 명령어를 주고 수행을 했더니 에러가 발생합니..

개발하면서 테스트 하다보면 스트림을 가상으로 생성해서 수신해야 하는 경우가 있습니다. 여기서는 많이 사용하는 vlc 를 이용하여 rtsp 스트림을 전송해보고 다른 app에서 수신해보겠습니다.  1. 네트워크 스트림 열기  미디어 > 스트림하기 선택    스트림할 대상 파일 추가 하기   스트림 드롭다운에서 스트림 선택  스트림 출력을 rtsp로 선택    추가하기를 눌러서 rstp 주소를 생성합니다.이 주소로 다른 장치나 app에서 access 가능 합니다.    트랜스코딩은 코덱 변경등이 필요할때는 해도 좋고 원본 대로 내보내도 상관 없습니다.    이제 스트림 버튼 누릅니다.   프로그래스 바로 재생이 시작되는 것을 볼수 있습니다.  재생 중 화면이 보이지는 않습니다. 반복 재생 하고 싶으면 아래 루..

1. 개요  LLM 시장에서 뒤쳐진 채로 열심히 뒤따라가고 있는 구글이 또 제미나이를 기반으로 하는 또 하나의 모델을 버전업 해서 출시했습니다.  항상 그렇지만 이번엔 정말 좋아요... 라는 멘트와 함께  발표자료를 보면 다음과 같네요.  효율성과 성능을 위한 새로운 개방형 모델 표준 * 특대형 성능 27B에서 Gemma 2는 해당 크기 클래스에서 최고의 성능을 제공하며, 심지어 크기가 두 배 이상인 모델에 대한 경쟁력 있는 대안을 제공합니다. 9B Gemma 2 모델도 클래스 최고의 성능을 제공하며, 크기 범주에서 Llama 3 8B 및 기타 개방형 모델을 능가합니다.   * 탁월한 효율성 및 비용 절감 27B Gemma 2 모델은 단일 Google Cloud TPU 호스트, NVIDIA A100 80..

이전에 chatGPT를 API를 이용해서 Discord bot 을 구현 했습니다.  아래 참조 https://yongeekd01.tistory.com/193 chatGPT를 discord bot으로 만들어보자(초간단, 대화기억, chatGPT-4o)1. discord 서버 생성하기  우선 discord bot이 일을 하기 위한 서버환경을 만들어 줘야 합니다. 하나 생성해볼까요? discord를 실행하고  좌측의 + 버튼을 눌러서 서버를 생성합니다.   서버의 이름yongeekd01.tistory.com 생각해보니 채팅을 무한히 반복하면 토큰수가 초과되어 세션에 문제가 생기는걸 깜빡 했습니다. 그부분을 해결해 보겠습니다.  대화를 계속 누적해서 보내다 보니 생길 수 밖에 없는 문제겠네요.  openai에서..

1. discord 서버 생성하기  우선 discord bot이 일을 하기 위한 서버환경을 만들어 줘야 합니다. 하나 생성해볼까요? discord를 실행하고  좌측의 + 버튼을 눌러서 서버를 생성합니다.   서버의 이름을 지정하고 서버 이미지도 간단하게 넣어줍니다.이후 만들기 버튼을 누르면 왼쪽 서버목록에 추가된 것을 볼 수 있습니다.   초대한 사람만 사용할 수 있도록 채널권한을 비공개로 변경해 줍니다.   2. Bot 생성하기  다음 url로 접속해서 application을 생성합니다. https://discord.com/developers/applications   Discord Developer Portal — API Docs for Bots and DevelopersIntegrate your s..

OpenPose는 사람의 자세 인식을 위한 오픈 소스 딥러닝 모델 입니다.  이 라이브러리는 단일 이미지나 비디오에서 사람의 뼈대구조에 대한 키포인트를 실시간으로 감지할 수 있습니다.  주로 다음과 같은 기능을 제공합니다.  (1) 다수의 사람 객체 인식   이미지나 비디오에서 여러 사람을 동시에 감지하고 각 사람의 자세를 추출 (2) 다중 키포인트 인식  사람의 신체 부위(어깨, 팔꿈치, 손목, 무릎, 발목 등)와 얼굴, 손의 키포인트를 인식 (3) 실시간 처리  GPU를 활용하여 실시간으로 이미지나 영상에서 사람의 자세를 분석 Body Pose Estimation: 신체의 18개 주요 부위를 감지합니다. Hand Keypoint Detection: 각 손의 21개 키포인트를 감지합니다. 그외에 잘 사..

PaddleOCR은 중국어, 한글 등 여러 언어를 지원하는 PaddlePaddle 기반의 OCR 라이브러리입니다. 관련된 작업을 할 일이 있어서 Tesseract OCR, Easy OCR, Paddle OCR 을비교해보고 있는데 결과적으로 paddle OCR이 성능이 상당이 좋네요.  확인해보겠습니다.  1     필요한 패키지 설치 pip install paddlepaddle pip install paddleocr *gpu 사용시 pip install paddlepaddle-gpu  2. 기본 코드 작성  이미지 읽어서 박스치고 아래에 인식된 문자열 출력 하는 코드  from paddleocr import PaddleOCRfrom PIL import Image, ImageDraw, ImageFontim..