빗자루검 블로그

리눅스에서 사용자를 추가하려면 useradd 명령어를 사용합니다. useradd  기본적으로 사용자의 홈 디렉토리는 생성되지 않으며, 계정만 생성됩니다. 생성된 사용자의 상세 정보는 /etc/passwd 파일에 저장됩니다.  useradd -m  -m 옵션은 사용자의 홈 디렉토리를 자동으로 생성하고 홈 디렉토리는 /home/ 경로로 만들어집니다. 이제 사용자를 지워봅시다. 사용자를 삭제하려면 userdel 명령어를 사용합니다. userdel  홈 디렉토리와 메일 스풀(/var/spool/mail/)까지 삭제하려면 -r 옵션을 사용합니다. userdel -r   여기서는 ftpuser라는 사용자를 추가 했다가 지우는 예 입니다.   [root@localhost home]# userdel ftpuser us..

보통 시간을 확인할 때 date 명령어를 이용하여 확인 및 설정을 합니다. 하지만, 이런 방식 보다는 NTP를 사용하여 시간 동기화 하는 방식이 더 정확합니다 NTP(Network Time Protocol)는 컴퓨터 시스템 간에 시간을 동기화하는데 사용되는 프로토콜입니다. 인터넷을 통해 서버 및 클라이언트 간의 시간을 조정하여 각 기기가 동일한 표준 시간을 유지하도록 해서 여러 서버간 시간 동기가 필요할때 꼭 필요합니다.  1. ntp 동기화 설정 확인하기 timedatectl 명령어를 이용하여 현재 설정을 확인합니다.System clock synchronized : no 로 표시되면 동기화 설정이 되지 않은 것입니다.  2. chrony 설치 chrony는 centos,레드햇 계열은 모두 사용가능합니다..

망내에 서버 설계를 하다보면 서버간 데이터 트래픽을 제어해야 할 경우가 있습니다. 여러개의 랜카드를 이용해서 망을 분리하기도 하고 트래픽을 분산 시키기도 하지요. 이런 경우 유용한 함수들을 파이썬으로 구현했습니다.  (인터페이스별 트래픽은 1초만 측정했습니다) - 인터페이스 목록 가져오기- 인터페이스 현재 up/down link 상태 가져오기 - 인터페이스별 1초당 트래픽량 측정하기(Tx/Rx) # 네트워크 인터페이스 목록 가져오기def get_network_interface() :     network_interfaces = psutil.net_if_addrs()    # 인터페이스 이름 출력    print("network interface list:")        for interface_name..

개발을 하다보면 시스템 정보를 계속 모니터링 해야하는 경우가 많습니다.  현재 구동중인 프로그램이 CPU 부하를 얼마나 쓰는지 RAM은 얼마나 사용하는지.memory leak이 있는지 등등.. 관련된 정보를 알아오는 방법을 알아보겠습니다.  파이썬에서는 주로 psutil과  GPUtil 을 사용하여 정보를 얻을 수 있습니다.  1. 각종 정보 받아오기 소스  import psutilimport GPUtilimport socket # 자신의 호스트 이름 가져오기def get_hostname() :     my_hostname = socket.gethostname()    print(f"hostname: {my_hostname}")#CPU/RAM 정보 가져오기     def get_cpu_ram():    ..

vscode에서 break point를 지정해도 run 시 disable 되어 버리는 경우가 있습니다.  이런 경우 debugpy 모듈이 설치되지 않았거나 올바르게 설치되지 않았을 가능성이 있습니다. 1. debugpy 설치pip install debugpy  2. launch.json 파일 수정 {    "version": "0.2.0",    "configurations": [            {            "name": "Python 디버거: 현재 파일",            "type": "python",            "request": "launch",            "program": "${file}",            "console": "integratedTer..

리눅스에서 tar로 묶은 파일을 Windows PowerShell에서 압축 해제할 때 한글 파일명이 깨지는 문제는 주로 인코딩 차이로 인해 발생합니다. 리눅스 시스템에서 tar로 파일을 묶을 때, 기본적으로 UTF-8 인코딩이 사용됩니다.그러나 Windows에서는 기본적으로 CP949 (또는 EUC-KR) 인코딩을 사용하기 때문에, 인코딩 불일치로 인해 한글 파일명이 깨질 수 있습니다. 이것을 해결하려고 파워쉘에 다음 옵션을 주어도 해결되지 않았습니다.$OutputEncoding = [System.Text.Encoding]::UTF8 제일 간단한 방법은 그냥 7-zip을 사용해서 tar를 풀면 인코딩 문제가 자동으로 해결됩니다.  7-Zip은 다양한 인코딩 옵션을 지원하며, 한글 파일명 문제를 해결하는 ..

LLM 평가 프레임 워크를 제공하는 갈릴레오 AI 에서 현존 최고 LLM들의 할루미네이션 평가를 진행해서 순위를 발표했습니다.  이 평가는 작년 11월에도 있었는데요. 그때는 Open AI의 Chat GPT 4가 휩쓸었었죠.  이번 평가에서는 순위가 뒤바뀐것들이 많았습니다.  벤치마크의 기준은 다음과 같습니다.   "새로운 지수는 22개의 주요 모델이 주어진 컨텍스트에 얼마나 잘 부합하는지를 평가하여 개발자가 가격과 성능의 균형을 맞출 때 정보에 입각한 결정을 내릴 수 있도록 지원합니다. 저희는 1,000~100,000개의 토큰을 입력한 상위 LLM을 대상으로 엄격한 테스트를 실시하여 짧은, 중간, 긴 컨텍스트 길이에서 얼마나 잘 작동하는지에 대한 질문에 답했습니다."  다음 3가지로 컨텍스트 길이가 다..

메타의 라마 3.1 405B 모델 출시 하루만에 유럽 인공지능(AI) 스타트업 미스트랄 AI가 플래그십 대형언어모델(LLM) '라지(Large)'의 신규 버전을 공개해버렸습니다. 라지 2 모델은 1230억개(123B)의 매개변수로, 12만8000 토큰의 컨텍스트 창을 제공하지만 라마 3.1 중 가장 큰 모델(405B)에 비해 매개변수가 3분의 1도 안 되는 크기라고 합니다. (라고는 해도 무지하게 큰 모델입니다) 하지만 이미지를 이해하거나 입력할 수 있는 멀티모달 기능은  Llama 3.1 처럼 제공하지 않습니다.  어찌되었건 간에 초대형 모델들이 마구 쏟아져 나오는군요.  연구 및 비상업적 용도로 사용 및 수정할 수 있는 Mistral Research 라이선스이지만 자체 배포가 필요한 상업적 용도로 미..

리눅스 wget은 웹에서 파일을 다운로드하는 데 사용되는 인기 있는 명령줄 도구입니다. wget은 네트워크 연결 상태와 상관없이 안정적으로 파일을 다운로드할 수 있으며, 다양한 프로토콜(HTTP, HTTPS, FTP)을 지원합니다. 1. 기본 다운로드 wget http://example.com/file.zip이 명령은 http://example.com/file.zip 파일을 현재 디렉토리로 다운로드합니다. 2. 파일 이름 지정하여 다운로드wget -O newfile.zip http://example.com/file.zip다운로드한 파일의 이름을 newfile.zip으로 지정하여 저장합니다. 3. 백그라운드 다운로드wget -b http://example.com/file.zip파일을 백그라운드에서 다운로드..

메타에서 엄청난 규모의 오픈소스 LLM 모델을 발표했습니다. (이걸 돌려 볼 수는 있는 환경을 갖춘 사람이 몇이나 될까... 싶지만) 메타 자료에 보면 다음과 같은 자부심이 있네요.  "지금까지 오픈 소스 대규모 언어 모델은 기능 및 성능 면에서 대부분 폐쇄형 언어 모델에 비해 뒤쳐져 있었습니다. 이제 오픈소스가 주도하는 새로운 시대가 열리고 있습니다. 세계 최대 규모이자 가장 뛰어난 성능을 자랑하는 오픈 소스 기반 모델인 Meta Llama 3.1 405B를 공개적으로 출시합니다" Llama 3.1 최신 모델에는 컨텍스트 길이가 128K로 확장되고 8개 언어 지원이 추가되었으며, 최초의 프론티어급 오픈 소스 AI 모델인 Llama 3.1 405B가 포함되어 있습니다.Llama 3.1 405B는 일반 지..