빗자루검 블로그

ChatGPT를 사용해 보신 분들은 아시겠지만 Prompt를 제어하여 좀더 정확하게 모델의 응답을 조정할 수 있습니다. 소위 "너는 시인이라고 생각하고 다음 문장에 대해서 시를 써줘..." 같은 접근을 이용하는 방법이죠. 물론 문자열을 입력할때 한번에 AI 모델의 역할을 지정하고 응답까지 한꺼번에 넣을 수도 있습니다만 여기서는 LangChain에서 chat 모델을 사용할 때 systemMessage를 이용해서 먼저 role을 정의해 주고 질문에 대답하도록 간단히 구현하는 예제를 만들어 보겠습니다. 여기서도 ChatGPT를 사용하시려면 우선 다음 사이트에서 OpenAI API Key를 먼저 발급 받으셔야 합니다. https://platform.openai.com/account/api-keys OpenAI ..

아주 아주 기초적인 내용으로서 Langchain 라이브러리를 이용하여 OpenAI의 chatGPT 모델을 구동시키고 간단한 질문 대답을 수행하는 코드입니다. 물론 다른 LLM 모델로 갈아끼워서 사용하실 수 있습니다. 다음 사이트에서 LLM모델들에 대해서 설명 하고 있으니 참고하시기 바랍니다. https://python.langchain.com/docs/integrations/llms/ LLMs | 🦜️🔗 Langchain 📄️ NLP Cloud The NLP Cloud serves high performance pre-trained or custom models for NER, sentiment-analysis, classification, summarization, paraphrasing, gramma..

1. LangChain 개요 랭체인(LangChain)은 언어 모델을 기반으로 한 애플리케이션을 개발하기 위한 프레임워크이며 언어 모델을 API를 통해 호출하는 것 뿐만 아니라 외부 데이터를 인식하거나 타 시스템과의 상호작용하는 애플리케이션을 개발하고자 하는 요구 사항에서 시작된 오픈소스입니다. 우리가 요즘 엄청나게 사용하는 LLM모델중 하나인 예를 들어 ChatGPT는 수많은 대규모 언어모델의 하나이고 학습한 내용을 기반으로 동작합니다. 그 외에도 수도 없이 많은 LLM 모델들이 많이 개발되어 있지만 상용으로는 chatGPT가 독보적이라고 할수 있습니다. 하지만 더 나은 서비스를 원하는 사용자의 요구사항이 늘어나고 있습니다. - 추가적인 전문 데이터를 더 학습시켜서 특화 시키려는 요구 - 최신 정보를 ..

작업 중에 charset_normalizer 패키지 하나가 문제를 발생 시켰다. ImportError: cannot import name 'COMMON_SAFE_ASCII_CHARACTERS' from 'charset_normalizer.constant' (E:\anaconda3\envs\py39\lib\site-packages\charset_normalizer\constant.py) 버전이 달라지면서 dependancy에 문제가 생긴듯 하다. 해당 패키지의 버전을 확인하고 최신으로 업데이트 해보자. 1. 패키지 버전 확인 pip freeze로 확인하는 경우가 일반적이지만 다음과 같이 나오면 버전이 뭐라는건지 바로 알수가 없다. > pip freeze : charset-normalizer @ file:/..

여기서는 vscode의 source control extension을 통해서 github에 생성한 repository에 소스를 연동하여 관리하는 방법을 설명한다. (GitHub에 계정을 만드는 절차는 생략) 1. Github에 작업 Repository 생성하기 자신의 계정에 vscode의 현재 소스와 연동할 repository를 생성한다. 여기서는 private로 생성하여 외부 공개가 되지 않도록 한다. sample_test 라는 이름으로 repo를 생성하였다. 생성된 repository의 주소를 확인하고 복사해놓는다. 2. VSCode 작업하기 이제 로컬에서 빈 윈도우를 하나 열고 github에 생성한 repository를 clone 하여 작업 공간을 생성한다. clone으로 빈공간을 만들고 시작하면 ..

conda를 사용하는 이유가 가상환경 구성이고 여러 개의 env를 설정해놓고 필요한 환경을 그때그때 선택해서 사용하기 위해서 입니다. 코딩 작업을 할 때 terminal에서 직접 작업하는 경우는 거의 없고 vscode나 다른 editor를 사용하고 있을 텐데요. 물론 에디터로 코딩을 하고 터미널 창에서 환경을 변경한 후 수동으로 실행을 시키면 되겠지만 디버깅환경을 사용하기 위해서는 F5를 눌러 디버깅모드로 실행해야 하겠죠? 하지만 vscode에서 F5로 실행을 시키면 항상 (base) 환경에서 실행이 되어 버리기 때문에 환경을 지정하는 방법을 찾아보았습니다. 1. 환경 확인 하기 conda env list 저 같은 경우는 5개가 나오네요. vscode로 새로운 파일을 하나 생성해서 print 하나만 넣어..

1. 설치하기 window powershell을 실행합니다. 우선 유효한 배포본 목록을 보려면 다음과 같이 실행합니다. wsl --list --online Ubuntu가 기본으로 설정되어 있는 것을 확인할 수 있습니다. 기본 설치 명령어는 다음과 같으며 목록에서 원하는 배포본을 설치 하기 위해서는 뒤에 -d 옵션을 주면 됩니다. wsl --install 만 수행하면 Ubuntu가 설치됩니다. wsl --install -d 그대로 우분투를 설치해봅니다. wsl --install Ubuntu-22.04 다운로드가 진행되고 뭔가 짧게 설치한 후 재부팅하라고 나옵니다. 재부팅 시 윈도우 업데이트가 진행되네요. 재부팅 완료되면 터미널이 실행되고 WSL이 실행됩니다. root 외 사용자 계정을 생성합니다. host..

1. WSL (Window Subsystem for Linux)의 개념 Windows Subsystem for Linux (WSL)은 Microsoft가 개발한 Windows 운영 체제에서 Linux 환경을 실행하기 위한 기술입니다. WSL은 Windows 10 이상의 버전에서 사용할 수 있으며, 기존의 Windows 환경과 별개로 Linux 바이너리 및 명령을 실행할 수 있게 해줍니다. WSL은 기본적으로 Ubuntu 배포판을 지원하지만, Windows 10 버전 2004부터는 다른 Linux 배포판인 Fedora, Debian 등을 선택적으로 설치할 수 있게 되었습니다. 사용자는 Microsoft Store를 통해 원하는 Linux 배포판을 다운로드하고 설치할 수 있습니다. WSL을 사용하면 Wind..

# ifconfig를 이용해 MAC 가져오기 mac_address=$(ifconfig eth0| grep -oE '([0-9A-Fa-f]{2}:){5}[0-9A-Fa-f]{2}' | head -n 1) # MAC에서 콜론 제거 mac_address_no_colon=${mac_address//:/} # 하위 6자리만 추출하기 last_six_digits=${mac_address_no_colon:6} #확인 echo "$mac_address" echo "$mac_address_no_colon" echo "Last 6 digits without colon: $last_six_digits" #하위 6자리를 포함하여 hostname 변경 myname="host-$last_six_digits" echo "$myna..

리눅스에서 hostname은 컴퓨터 또는 네트워크에 할당된 고유한 이름입니다. 호스트네임은 네트워크에서 다른 시스템과 통신할 때 식별하는 데 사용되며 네트워크 관리 및 구성, 서버 식별, 로그 분석 등에 중요한 역할을 합니다. 호스트네임은 다른 컴퓨터나 네트워크에서 접근할 수 있는 유효한 이름이어야 합니다. 일반적으로 소문자, 숫자, 하이픈(-)으로 구성되며, 최대 길이 제한이 있을 수 있습니다. 리눅스 호스트 네임을 확인하는 방법은 다음과 같습니다. > hostname host001 이 명령어는 실제로 /etc/hostname 파일에 기술된 이름 >cat /etc/hostname host001 1. 호스트 이름 변경하기 (1) 호스트명을 변경하려면 /etc/hostname 파일의 내용을 직접 수정 (재..