빗자루검 블로그

1. Google gemini 소개 1.1 Gemini 개요 제미나이는 구글 AI에서 개발한 멀티모달 기반 대규모 언어 모델입니다. 텍스트, 이미지, 오디오, 동영상, 코드 등 다양한 형태의 정보를 이해하고 처리할 수 있는 능력을 가지고 있습니다 * Gemini 1.0은 3가지 모델로 제공됩니다. - Gemini Ultra - 매우 복잡한 작업을 위한 가장 크고 성능이 뛰어난 모델 - Gemini Pro - 다양한 작업에 걸쳐 확장할 수 있는 모델 - Gemini Nano - 온디바이스 작업에 가장 효율적인 모델 Gemini 1.0 성능 벤치 마크 결과는 다음과 같다고 구글에서 발표했습니다. 수치상으로는 GPT-4를 앞지르는 것으로 보이지만 수치와 달리 실제 사용자 평가는 그다지 좋지 못했습니다. 구글에..

일반적으로 ntp등을 이용하여 시간 싱크를 맞출때 rdate 명령어를 주로 사용하는 경우가 많은데 rocky linux에서는 rdate를 제공하지 않는다. 기본적으로 설치된 timezone을 변경하기 위해서는 timedatectl을 사용하게된다. 1. rocky linux timezone 변경 (host) host에서는 직접 변경할 수 있다. 먼저 현재 설정을 확인하고 set-timezone을 이용하여 설정한다. [root@localhost ~]# timedatectl Local time: 수 2024-04-03 00:33:15 EDT Universal time: 수 2024-04-03 04:33:15 UTC RTC time: 수 2024-04-03 04:33:15 Time zone: America/Ne..

시스템을 운용하다보면 부하가 올라가거나 상태가 이상할때 원인을 확인하고 싶을 때가 있습니다. ps -ef 로 프로세스를 확인하거나 top으로 부하를 확인하는 방법도 있지만 역시 확실한건 접속자와 실행 중인 작업을 알아내는 것이죠. Linux 시스템에서 현재 접속한 사용자를 확인하는 방법에는 여러 가지가 있습니다. 주로 사용하는 명령어는 who, w, last입니다. 이 명령어들은 시스템 관리자가 사용자의 로그인 상태를 모니터링하거나 문제 해결이 필요할 때 아주 유용하지만 의외로 잘 모르시는 분들이 많습니다. 각각에서 제공되는 정보는 다음과 같습니다. 1. who 명령어 who 명령어는 -a 옵션과 함께 사용하여 로그인한 사용자, 그들의 IP 주소, 로그인 방식 등을 포함한 상세 정보를 제공할 수 있습니다..

파이썬을 이용하여 유투브를 다운로드 하기 위해서는 pytube 를 많이 사용합니다. 하지만 다운로드만을 원할때는 youtube-dl을 이용하여 콘솔에서 간단하게 처리할 수 있습니다. 1. youtube-dl 설치 *Debian/Ubuntu 등 sudo apt-get update sudo apt-get install youtube-dl *CentOS/Rocky 등 sudo yum install youtube-dl *PyPI를 통한 설치 이 방법은 Python이 설치되어 있고, pip이 사용 가능한 환경에서 작동합니다: pip install youtube-dl 2. 기본 사용법 기본적으로 youtube-dl은 다음과 같은 형식으로 사용됩니다: > youtube-dl [OPTIONS] URL 여기서 URL은 ..

딥러닝으로 영상을 학습하려고 하다보면 영상 데이터를 유투브에서 수집하는 경우가 많습니다. 이럴때 대부분 영상의 이름과 저장할 시간 정보를 annotation 파일로 만들어 놓고 처리하는 경우가 일반적인데요. 영상 데이터 수집을 위해 간단히 구현해보겠습니다. 1. pytube pytube는 YouTube 동영상을 다운로드하기 위한 Python 라이브러리입니다. YouTube 동영상의 URL을 이용해서 다양한 컨텐츠를 다운로드 할 수 있습니다. YouTube 동영상은 한가지로 구성된 것이 아니고 다양한 스트림(예: 오디오만, 비디오만, 비디오 해상도별 등등)으로 구성되어 있습니다. pytube에서는 포함된 스트림을 조회하고 선택적으로 다운로드할 수 있는 기능을 제공합니다. https://pypi.org/pr..

파이썬에서 print 출력을 날짜별로 분리된 파일로 로깅하기 위해서는 로깅(logging) 모듈을 사용하면 됩니다. 로깅 모듈을 사용하면 메시지를 다양한 수준(level)에서 기록할 수 있습니다. 1. 날짜별로 로그 파일을 분리하여 저장하는 방법 TimedRotatingFileHandler를 이용하여 로깅하는 방법도 있지만 여기서는 간단하게 파일명에 날자를 포함하여 저장하는 방법을 사용해서 만들어 보겠습니다. 예를 들어, 2024년 3월 14일에 실행하면 app_2024-03-14.log 파일에 로그가 기록됩니다. 또 다음 날 실행하면 새로운 날짜로 명명된 파일에 로그가 기록되고 기존 파일은 그대로 유지됩니다. 이 방법은 로그 파일이 날짜별로 무한정 생성되기 때문에 주기적인 관리가 필요합니다. impor..

GPU를 이용하여 딥러닝을 하다보면 GPU device Error로 인해 먹통이 되거나 드라이버가 정상 동작하지 않는 경우가 있습니다. Unable to determine the device handle for GPU 0000:01:00.0: Unknown Error 이런 경우 사실 할 수 있는 것은 많지 않습니다. 전력제어를 통해서 디바이스가 과열되지 않도록 하는 정도죠.. GPU의 전력 제한(Power Limit) 설정을 조정하는 것은 여러 상황에서 필요하거나 유용할 수 있습니다. 1. 전력제한이 필요한 경우 주로 성능 최적화, 시스템 안정성 유지, 에너지 효율성 향상, 그리고 장비의 수명 연장을 위해 사용됩니다. (1) 열 관리 과열 방지: 고성능 작업으로 인해 GPU 온도가 너무 높아지는 것을 방..

개발을 하다보면 리소스 모니터링을 해야할 일이 많습니다. 그중 특히 CPU와 GPU의 사용량과 메모리는 필수 인데요. 실시간으로 GPU와 CPU 사용량을 모니터링하기 위해, psutil과 GPUtil 라이브러리를 사용할 수 있습니다. psutil은 시스템과 프로세스 유틸리티에 대한 정보를 제공하며, GPUtil은 NVIDIA GPU들의 상태를 모니터링하는 데 사용됩니다. 먼저, psutil과 GPUtil이 설치되어 있지 않다면 설치해야 합니다. 1. 패키지 설치 하기 > pip install psutil > pip install gputil 2. 모니터링 코드 작성 이제 간단하게 모니터링 코드를 작성해 봅시다. import psutil import GPUtil from time import sleep d..

ffmpeg으로 동영상을 송출하기에 이어서 NVIDIA 멀티 GPU를 이용하여 인코딩을 추가하여 고속으로 송출하는 방법을 알아보겠습니다. https://yongeekd01.tistory.com/163 다양한 포맷의 동영상 파일을 mpegts, udp multicast로 송출하기(mp4, mov, mpegts..) 멀티캐스트로 동영상 파일을 송출할 수 있는 프로그램에는 여러 가지가 있습니다. 이러한 프로그램은 대체로 네트워크를 통해 비디오 콘텐츠를 여러 수신자에게 동시에 전송하는 데 사용됩니 yongeekd01.tistory.com 1. FFmpeg를 사용하여 비디오 크기 변경해서 인코딩 하면서 송출 먼저 인코딩 옵션을 추가하여 비디오 크기 변경해서 인코딩 하면서 송출 하는 방법을 보겠습니다. ffmpeg..

멀티캐스트로 동영상 파일을 송출할 수 있는 프로그램에는 여러 가지가 있습니다. 이러한 프로그램은 대체로 네트워크를 통해 비디오 콘텐츠를 여러 수신자에게 동시에 전송하는 데 사용됩니다. 다음은 멀티캐스트 송출을 지원하는 프로그램의 몇가지 예 입니다. (이외에도 많이 있지만..) (1) VLC Media Player VLC는 무료이며 오픈 소스 멀티미디어 플레이어이자 프레임워크로, 다양한 멀티미디어 파일 포맷, 디스크, 네트워크 스트리밍 프로토콜을 지원합니다. VLC를 사용하면 비디오 파일을 멀티캐스트로 송출할 수 있습니다. (2) FFmpeg FFmpeg는 오디오 및 비디오 레코딩, 변환 및 스트리밍을 위한 무료 소프트웨어입니다. 복잡한 커맨드 라인 도구이지만, 강력한 스트리밍 기능을 제공하며, 사용자가 ..