빗자루검 블로그

python에서 requirement 파일을 이용하여 pip package를 인스톨하는 과정과 유사하다. 최근에는 github에도 conda 환경에서 사용가능한 yml 파일을 함께 배포해주는 경우가 많이 있어서 yml 파일을 이용하여 가상환경을 생성하고 관련 패키지를 설치해주는 과정을 한번에 수행할 수 있다. 다음음 T2M-GPT라는 이름으로 환경이 저장된 environment.yml 파일 예시이다. name: T2M-GPT channels: - pytorch - defaults dependencies: - _libgcc_mutex=0.1=main - _openmp_mutex=4.5=1_gnu - blas=1.0=mkl - bzip2=1.0.8=h7b6447c_0 - ca-certificates=2021..

1. 설치 준비 사이트에서 linux용 최신 버전 확인 https://www.anaconda.com/products/distribution#Downloads Anaconda | Anaconda Distribution Anaconda's open-source Distribution is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com 해당하는 sh 파일을 다운로드 한다. wget https://repo.anaconda.com/archive/Anaconda3-2023.03-Linux-x86_64.sh 2. 설치 받은 쉘 파일을 실행하면 라이선스 동의 후 설치를 시작..

1. swap이란? 시스템 메모리가 부족하면 하드 디스크의 일부 공간을 RAM의 일부처럼 동작하게 하여 도와주는 임시 공간입니다. 당연히 Disk를 사용하기 때문에 RAM보다 느릴 수 밖에 없습니다. 리눅스 시스템을 설치하다보면 swap을 잡아주게 되어 있는데 대부분 별 신경 쓰지 않고 기본값으로 설치하면 작은 크기로 설정되게 됩니다. 2. swap을 변경하는 이유 딥러닝을 하다가 자주 부딛히는 문제 중 하나는 GPU 메모리 뿐아니라 host의 메모리 크기가 부족하여 대용량의 데이터를 한번에 넣어서 모델을 학습하는데 문제가 발생한다는 것입니다. 딥러닝 같은 작업을 할때 HDD보다 상대적으로 빠른 SSD를 마운트 하고 SSD 내부에 대용량 swap 파일을 만들어 사용하면 엄청난(?) 체감 효과를 느끼실 수..

top 명령어는 시스템 리소스를 모니터링할 때 많이 사용하고 계실 것입니다. 그러면 네트워크 트래픽을 상세하게 모니터링할 수 있는 도구인 iftop 을 알고 계신가요? 사용하고 있는 인터페이스를 통해 일어나고 있는 거의 모든 정보를 실시간으로 확인할 수 있습니다. interface top 이라고 보시면 됩니다. 간단한 프로그램이지만 많이 알고계시는 다음 명령들과 함께 사용하면 상당히 유용합니다. netstat : 네트워크 연결상태 확인 ifconfig : 네트워크 인터페이스 설정 정보 ping : 원격 호스트와의 연결 테스트 route : 해당 호스트까지 연결하는 중간 경로 정보인 라우팅 테이블 tcpdump : 실시간 패킷 모니터링 1. 설치 yum install iftop 2. 인터페이스 동작 현황 ..

개발이나 시스템 관리를 하다보면 현재 사용중인 서버에서 외부 접속 대기를 위한 리슨 포트가 제대로 열려 있는지 혹은 원하는 포트에 연결이 제대로 되어 있는지 확인하고 싶을 때가 있습니다. 이럴 때 간단하게 사용하는 간단한 cmd가 있습니다. 1. 리스닝 포트 확인하기 netstat -lnp [root@localhost ~]# netstat -lnp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 127.0.0.1:4330 0.0.0.0:* LISTEN 3462/pmlogger tcp 0 0 0.0.0.0:139 0.0.0.0:* LI..

nmap은 원격지 호스트의 네트워크를 스캐닝하는 도구입니다. (해킹 툴로도 사용됨) 서버가 살아 있는지, 특정 포트가 열려 있는지, 방화벽으로 막혀있는지 등등.. https://nmap.org/ Nmap: the Network Mapper - Free Security Scanner Download Reference Guide Book Docs Zenmap GUI In the Movies Get Nmap 7.93 here Nmap.org has been redesigned! Our new mobile-friendly layout is also on Npcap.com, Seclists.org, Insecure.org, and Sectools.org. Nmap 7.90 has been released with..

Rocky Linux를 설치하면 ffmpeg Repo가 없어서 설치가 불가능합니다.  현재 시스템 정보를 확인해 보겠습니다.   기본 repo에 ffmpeg 이 있는지 확인해 봅니다. 역시 없네요.yum install ffmpegyum search ffmpeg  1. ffmpeg Repo 설정 및 설치 준비 yum -y update yum -y install https://download.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm yum install dnf-plugins-coreyum config-manager --set-enabled powertoolsyum install -y --nogpgcheck https://mirrors.rpmf..

핫한 ChatGPT가 하도 코딩을 잘한다길래 재미삼아 하나 시켜봤습니다. 상당히 구체적이고 좋네요. stack overflow나 github 등등을 모조리 학습했다더니 대단하다는 생각이 듭니다. 최근에 카카오톡 채널로 등록해서 ChatGPT의 기능을 그대로 채팅형식으로 사용가능한 '뤼튼' 이 나왔는데요. 아마도 유료로 서비스 중인 ChatGPT API를 연동시킨것으로 보이는데 언제까지 무료로 사용가능한지는 두고 봐야겠습니다. 폰에서 채널로 등록 하시면 됩니다. PC용 카톡에서는 바로 안나오더라고요. 이전 질문을 기억하기 때문에 연속으로 추가 질문을 해도 잘 대답합니다. 굳이 OpenAI 로그인 하지 않아도 바로 카톡처럼 사용 가능합니다. 필요하신 분들은 카카오 채널로 등록 하셔서 사용해보세요 괜찮습니다...

conda는 아나콘다에서 만든 가상환경 도구이다. 파이썬에 내장된 가상환경 도구인 venv를 사용해도 가상환경을 사용할 수 있지만 venv는 설치된 파이썬 버전으로만 가상환경을 생성이 가능하다. 하지만 conda는 파이썬 자체의 버전도 포함하여 가상환경을 설치할 수 있다. 이런 장점 때문에 여전히 conda를 많이 사용하고 있다. 1. 가상환경 확인 하기 > conda info --envs 2. 가상환경 생성하기 생성된 가상환경 관련 파일들은 anaconda3/envs/ 하위에 생성, 저장됨 -설치된 python 버전으로 그냥 만들기 > conda create -n current -파이썬도 새로운 버전으로 만들기 > conda create -n py36 python=3.6 3. 가상환경 활성화 윈도우에서..

1.패키지 설치 가능한 버전 목록 확인하기 python 패키지는 보통 패키지명 혹은 버전 스트링을 추가 지정하여 설치한다. pip install opencv_python pip install opencv_python==3.4.16.57 이때 설치 가능한 버전 목록을 한번에 확인하기 위해서는 간단히 에러가 날 만한 문자를 이용하면 된다. pip install opencv_python==? pip install opencv_python==XXXX 2.설치 및 사용된 패키지 목록 생성 소스 배포 등을 위해서 현재 설치된 패키지 목록을 파일로 저장하는 방법 requirements.txt를 일반적으로 사용하는 것이지 반드시 그 파일명을 써야하는 것은 아니다. pip freeze > requirements.txt ..