IT/개발 썸네일형 리스트형 Rocky Linux 파이썬으로 네트워트 인터페이스 정보 가져오기, 각 트래픽 량 계산하기 (랜카드별 데이터송수신 데이터량) 망내에 서버 설계를 하다보면 서버간 데이터 트래픽을 제어해야 할 경우가 있습니다. 여러개의 랜카드를 이용해서 망을 분리하기도 하고 트래픽을 분산 시키기도 하지요. 이런 경우 유용한 함수들을 파이썬으로 구현했습니다. (인터페이스별 트래픽은 1초만 측정했습니다) - 인터페이스 목록 가져오기- 인터페이스 현재 up/down link 상태 가져오기 - 인터페이스별 1초당 트래픽량 측정하기(Tx/Rx) # 네트워크 인터페이스 목록 가져오기def get_network_interface() : network_interfaces = psutil.net_if_addrs() # 인터페이스 이름 출력 print("network interface list:") for interface_name.. 더보기 python 에서 Rocky linux 시스템 리소스 정보 가져오기(hostname, cpu, ram 사용량 , gpu 사용량, disk 사용량 등) 개발을 하다보면 시스템 정보를 계속 모니터링 해야하는 경우가 많습니다. 현재 구동중인 프로그램이 CPU 부하를 얼마나 쓰는지 RAM은 얼마나 사용하는지.memory leak이 있는지 등등.. 관련된 정보를 알아오는 방법을 알아보겠습니다. 파이썬에서는 주로 psutil과 GPUtil 을 사용하여 정보를 얻을 수 있습니다. 1. 각종 정보 받아오기 소스 import psutilimport GPUtilimport socket # 자신의 호스트 이름 가져오기def get_hostname() : my_hostname = socket.gethostname() print(f"hostname: {my_hostname}")#CPU/RAM 정보 가져오기 def get_cpu_ram(): .. 더보기 vscode에서 break point가 동작하지 않을때 해결 vscode에서 break point를 지정해도 run 시 disable 되어 버리는 경우가 있습니다. 이런 경우 debugpy 모듈이 설치되지 않았거나 올바르게 설치되지 않았을 가능성이 있습니다. 1. debugpy 설치pip install debugpy 2. launch.json 파일 수정 { "version": "0.2.0", "configurations": [ { "name": "Python 디버거: 현재 파일", "type": "python", "request": "launch", "program": "${file}", "console": "integratedTer.. 더보기 LLM 환각(Hallucination)에 대한 모델 평가(갈릴레오AI 벤치마크, 클로드, GPT, 큐원, 제미나이 등) LLM 평가 프레임 워크를 제공하는 갈릴레오 AI 에서 현존 최고 LLM들의 할루미네이션 평가를 진행해서 순위를 발표했습니다. 이 평가는 작년 11월에도 있었는데요. 그때는 Open AI의 Chat GPT 4가 휩쓸었었죠. 이번 평가에서는 순위가 뒤바뀐것들이 많았습니다. 벤치마크의 기준은 다음과 같습니다. "새로운 지수는 22개의 주요 모델이 주어진 컨텍스트에 얼마나 잘 부합하는지를 평가하여 개발자가 가격과 성능의 균형을 맞출 때 정보에 입각한 결정을 내릴 수 있도록 지원합니다. 저희는 1,000~100,000개의 토큰을 입력한 상위 LLM을 대상으로 엄격한 테스트를 실시하여 짧은, 중간, 긴 컨텍스트 길이에서 얼마나 잘 작동하는지에 대한 질문에 답했습니다." 다음 3가지로 컨텍스트 길이가 다.. 더보기 미스트랄 라지2 출시 개요 (Mistral Large 2, Llama 3.1 능가) 메타의 라마 3.1 405B 모델 출시 하루만에 유럽 인공지능(AI) 스타트업 미스트랄 AI가 플래그십 대형언어모델(LLM) '라지(Large)'의 신규 버전을 공개해버렸습니다. 라지 2 모델은 1230억개(123B)의 매개변수로, 12만8000 토큰의 컨텍스트 창을 제공하지만 라마 3.1 중 가장 큰 모델(405B)에 비해 매개변수가 3분의 1도 안 되는 크기라고 합니다. (라고는 해도 무지하게 큰 모델입니다) 하지만 이미지를 이해하거나 입력할 수 있는 멀티모달 기능은 Llama 3.1 처럼 제공하지 않습니다. 어찌되었건 간에 초대형 모델들이 마구 쏟아져 나오는군요. 연구 및 비상업적 용도로 사용 및 수정할 수 있는 Mistral Research 라이선스이지만 자체 배포가 필요한 상업적 용도로 미.. 더보기 Llama 3.1 405B 개요 (메타, 최대 규모의 오픈소스 LLM 공개) 메타에서 엄청난 규모의 오픈소스 LLM 모델을 발표했습니다. (이걸 돌려 볼 수는 있는 환경을 갖춘 사람이 몇이나 될까... 싶지만) 메타 자료에 보면 다음과 같은 자부심이 있네요. "지금까지 오픈 소스 대규모 언어 모델은 기능 및 성능 면에서 대부분 폐쇄형 언어 모델에 비해 뒤쳐져 있었습니다. 이제 오픈소스가 주도하는 새로운 시대가 열리고 있습니다. 세계 최대 규모이자 가장 뛰어난 성능을 자랑하는 오픈 소스 기반 모델인 Meta Llama 3.1 405B를 공개적으로 출시합니다" Llama 3.1 최신 모델에는 컨텍스트 길이가 128K로 확장되고 8개 언어 지원이 추가되었으며, 최초의 프론티어급 오픈 소스 AI 모델인 Llama 3.1 405B가 포함되어 있습니다.Llama 3.1 405B는 일반 지.. 더보기 Mistral NeMo, 미스트랄 온디바이스 AI 모델 개요 미스트랄 사이트에 가보면 딱 이렇게 적어 놨습니다 . 미스트랄 NeMo: 새로운 최고의 소형 모델. 128k 컨텍스트 길이의 최신 12B 모델로, NVIDIA와 협력하여 제작되었으며 Apache 2.0 라이선스에 따라 출시되었습니다. 아파치 라이센스군요. 미스트랄은 유럽의 OpenAI라고 보시면 됩니다. 미스트랄-네모는 퍼블릭 클라우드가 아닌 Nvidia GPU가 있는 개인 데스크탑 환경에서도 고성능 AI를 사용할 수 있도록 설계 되었다고 합니다. - 120억개의 매개변수와 12만8000토큰의 컨텍스트 창- 글로벌 다국어 지원 다음 표는 미스트랄 NeMo 기본 모델과 최근 오픈소스 사전 학습된 두 가지 모델인 Gemma 2 9B 및 Llama 3 8B의 정확도를 비교한 것입니다.벤치마크 결과 대.. 더보기 GPT-4o mini 개요 (API 비용 효율성 3.5 turbo의 1/10 가격) 오픈AI가 새로운 언어모델 GPT-4o 미니(mini)'를 출시했습니다. 보유 중인 대형언어모델(LLM) 중 가장 크기가 작은 소형 모델이며 사용비용을 확 줄여서 개발자들의 부담을 덜어주겠다는 의도라고 합니다. 성능도 동급 모델중 가장 뛰어나다고 홍보하고 있습니다. 가격은 입력 토큰 100만 개당 15센트, 출력 토큰 100만 개당 60센트로, 이전 프론티어 모델보다 훨씬 저렴하고 GPT-3.5 터보보다 60% 이상 저렴하다고 합니다. 현재 GPT-4o mini는 API에서 텍스트와 비전을 지원하며, 향후 텍스트, 이미지, 비디오, 오디오 입력 및 출력에 대한 지원도 추가될 예정입니다. 이 모델은 128K 토큰의 컨텍스트 창을 가지고 있으며, 요청당 최대 16K 출력 토큰을 지원하고, 2023년 .. 더보기 이전 1 2 3 4 ··· 7 다음
