빗자루검 블로그

OpenAI 오픈소스 모델 출시(허깅스페이스, 120B,20B 모델공개)

빗자루검 — Wed, 6 Aug 2025 11:04:41 +0900

오픈 AI가 그동안 사실상 오픈이 아니었죠.

아마도 다른 오픈 모델들이 계속 출시 되면서 위기감을 느꼈느지 드디어 오픈 소스모델을 선보였습니다.

성능은 고가모델은 아니고 대충 중간정도 모델을 기준으로 gpt-oss라는 이름을 붙인거 같습니다.

허깅페이스에 설명된 내용중 일부를 축약하면 다음과 같습니다.

1. 오픈 모델 종류

gpt-oss-120b— 단일 H100 GPU에 맞는 생산, 일반 용도, 고도 추론 사용 사례(5.1B 활성 매개변수가 있는 117B 매개변수)
gpt-oss-20b— 낮은 지연 시간과 로컬 또는 특수 사용 사례(3.6B 활성 매개변수가 있는 21B 매개변수)

돌려보려면 120b는 RAM 80G, 20b는 16G RAM이 있는 GPU면 가능하다고 합니다.

2. 특징

- Apache 2.0 라이선스, 특허 위험 없이 자유롭게 구축할 수 있습니다. 실험, 사용자 정의 및 상업적 배포에 이상적입니다.

- 특정 사용 사례와 지연 시간 요구 사항에 따라 추론 노력(낮음, 중간, 높음)을 쉽게 조정할 수 있습니다.

- 모델의 추론 과정에 대한 완전한 접근 권한을 확보하여 디버깅을 용이하게 하고 출력 결과에 대한 신뢰도를 높입니다.

- 매개변수 미세 조정을 통해 특정 사용 사례에 맞게 모델을 완벽하게 사용자 지정할 수 있습니다.

- 에이전트 기능, 함수 호출, 웹 브라우징 , Python 코드 실행 및 구조화된 출력을 위해 모델의 기본 기능을 사용합니다 .

- 기본 MXFP4 양자화: 모델은 MoE 계층에 대해 기본 MXFP4 정밀도로 훈련되어 gpt-oss-120b단일 H100 GPU에서 실행되고 gpt-oss-20b모델은 16GB 메모리 내에서 실행됩니다.

https://huggingface.co/collections/openai/gpt-oss-68911959590a1634ba11c7a4

gpt-oss - a openai Collection

Open-weight models designed for powerful reasoning, agentic tasks, and versatile developer use cases.

huggingface.co

코딩 벤치 마크 결과를 보겠습니다.

물론 좋은 결과가 나오는 벤치 마크를 사용했겠지만 나쁘지 않네요.

이제 튜닝 모델이 쏟아져 나오겠지요?

vscode에서 launch.json을 이용하여 프로젝트 하위 폴더 파일 디버깅하기(subfolder 지정)

빗자루검 — Wed, 30 Jul 2025 17:06:04 +0900

vscode는 F5를 눌러서 기본적으로 디버깅을 할때 프로젝트 생성 폴더를 Root로 사용합니다.

이렇다보니 프로젝트 루트에 있는 파일들은 디버깅하기 쉬워도 다른 폴더의 파일을 디버깅하려면

현재 워킹 디렉토리가 변경되지 않아서 상대경로 문제가 많이 발생하는 골치아픈 일이 생깁니다.

1. 다중 폴더 구성

아래와 같이 폴더가 구성되어 있고 base_a.py를 디버깅한다면 그냥 평소대로 하면 되겠지만

sub01 폴더 아래에 있는 sub01_a.py를 디버깅하려면 좀 복잡해집니다.

base폴더 아래에 생성된 launch.json을 사용하기 때문이죠.

Visual Studio Code (VS Code)에서 base/sub01 같은 프로젝트 구조를 가지고 있고, 프로젝트는 base 위치에서 생성했지만 실제 디버깅은 sub01 폴더 내의 파일을 기준으로 하고 싶을 때 launch.json을 설정하는 방법을 알려드리겠습니다.

2. launch.json 파일 생성 또는 수정

VS Code에서 디버그 뷰 (Ctrl+Shift+D 또는 사이드바의 벌레 아이콘)로 이동합니다. 아직 launch.json 파일이 없다면, "launch.json 파일 생성" (Create a launch.json file) 또는 톱니바퀴 아이콘을 클릭하여 생성합니다. Python 프로젝트의 경우 "Python"을 선택하면 기본 템플릿이 생성됩니다.

이미 launch.json 파일이 있다면, 해당 파일을 엽니다. 이 파일은 보통 .vscode 폴더 안에 있습니다 (base/.vscode/launch.json)

{

// Use IntelliSense to learn about possible attributes.

// Hover to view descriptions of existing attributes.

// For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387

"version": "0.2.0",

"configurations": [

{

"name": "Python: sub folder file debuging", //아무거나

"type": "python",

"request": "launch",

//"program": "${file}",

"program": "${workspaceFolder}/sub01 /sub01_a.py.py", //디버깅할 파일 이름

"cwd": "${workspaceFolder}/sub01", //이부분이 중요, 서브폴더 yolo9 폴더를 작업 디렉토리로 설정합니다.

"console": "integratedTerminal",

"args" : ["--p1", "abc"], //필요한 파라메터를 정의해 줍니다.

"justMyCode": true

}

]

이제 sub01_a.py 파일을 편집하면서 F5로 실행하면 직접 디버거가 해당 폴더를 root 폴더로 동작하게 되어

상대경로 문제는 해결되게 됩니다.

Deepface로 얼굴 속성 분석하기 (얼굴, 성별, 나이, 인종, 감정 인식)

빗자루검 — Thu, 17 Jul 2025 17:53:47 +0900

페이스북 인공지능 팀에서 만든 deepface는 벌써 나온지 꽤 시간이 흘렀습니다.

초기에 페북에서 사용자 사생활 침해가 어쩌고 하면서 말이 많았었죠.

어쨌던 저쨌던 기술 자체는 상당이 유용한 건 사실입니다.

파이썬 패키지로도 제공되고 있어 사용도 간단하죠.

주요 기능은 크게 얼굴 속성 분석과 얼굴 인식으로 나눌 수 있습니다.

DeepFace.analyze() 함수를 통해 이미지나 영상 속 인물의 여러 가지 속성을 한 번에 검출할 수 있습니다.

공식 깃허브 저장소는 다음과 같습니다.

https://github.com/serengil/deepface

GitHub - serengil/deepface: A Lightweight Face Recognition and Facial Attribute Analysis (Age, Gender, Emotion and Race) Library

A Lightweight Face Recognition and Facial Attribute Analysis (Age, Gender, Emotion and Race) Library for Python - serengil/deepface

github.com

1. 얼굴 속성

- 나이 (Age): 20대, 30대 등 예측

- 성별 (Gender): 'Man' 또는 'Woman'으로 예측

- 감정 (Emotion): 'angry'(화남), 'fear'(두려움), 'neutral'(중립), 'sad'(슬픔), 'disgust'(역겨움), 'happy'(행복), 'surprise'(놀람)의 7가지 감정 분석

- 인종 (Race): 'asian'(아시아인), 'white'(백인), 'middle eastern'(중동인), 'indian'(인도인), 'latino'(라틴계), 'black'(흑인) 등으로 예측

2. 얼굴 인식

- 얼굴 검증 (Verification): DeepFace.verify()
두 개의 얼굴 사진이 동일 인물인지 아닌지 1:1로 비교하고 판단

- 얼굴 찾기 (Find): DeepFace.find()

지정된 이미지 속 얼굴과 데이터베이스(폴더)에 있는 여러 이미지들을 비교하여 가장 유사한 얼굴들을 찾아냄

- 얼굴 표현 (Representation): DeepFace.represent()

얼굴 이미지를 벡터(Embedding)로 변환, 빠르고 효율적인 얼굴 비교 및 검색에 사용

3. 패키지 설치

pip instll deepface
pip install tf-keras

코드를 실행하면 사용하면 자동으로 다음 학습모델을 다운로드 받습니다.
age_model_weights.h5
gender_model_weights.h5
race_model_single_batch.h5
facial_expression_model_weights.h5

4. 간단한 예제 코드

사진 이미지를 입력하여 얼굴을 분석 해 보겠습니다.

얼굴을 찾고 각 정보를 찾아서 박스아래 표시합니다.

import cv2

from deepface import DeepFace

def analyze_and_draw_faces(input_image_path, output_image_path):

# 이미지 읽기

img = cv2.imread(input_image_path)

if img is None:

print("이미지를 불러올 수 없습니다.")

return

# 얼굴 분석

results = DeepFace.analyze(img_path = input_image_path, actions = ['age', 'gender', 'race', 'emotion'], enforce_detection=False)

# 여러 얼굴이 있을 경우 리스트로 반환됨

if not isinstance(results, list):

results = [results]

for face in results:

region = face['region']

x, y, w, h = region['x'], region['y'], region['w'], region['h']

# 얼굴 박스 그리기

# 밝은 파란색(BGR: 255, 200, 100)으로 얼굴 박스 그리기

cv2.rectangle(img, (x, y), (x+w, y+h), (255, 200, 100), 2)

# gender 확률에서 높은 값을 선택하고, 소수점 2자리까지 표시

gender_dict = face.get('gender', {})

if isinstance(gender_dict, dict):

gender_label = max(gender_dict, key=gender_dict.get)

gender_prob = gender_dict[gender_label]

gender_str = f"{gender_label}({gender_prob:.2f})"

else:

gender_str = str(face.get('gender', ''))

age = face['age']

emotion = max(face['emotion'], key=face['emotion'].get)

race = max(face['race'], key=face['race'].get)

text = f"gender: {gender_str} age: {age}\nrace: {race} emotion: {emotion}"

# 텍스트를 얼굴 박스의 왼쪽 아래에 약간 공간을 두고 출력

text_lines = text.split('\n')

font = cv2.FONT_HERSHEY_SIMPLEX

font_scale = 0.5

thickness = 1

color = (0, 128, 255) # 밝은 빨강색 (BGR: 0, 128, 255)

# 각 줄의 높이 계산 (폰트 크기와 두께에 따라)

(text_width, text_height), baseline = cv2.getTextSize(text_lines[0], font, font_scale, thickness)

line_height = text_height + baseline

# 텍스트 시작 위치 계산 (박스 왼쪽 아래에서 약간 띄움)

text_x = x

text_y = y + h + 10 + line_height # 박스 아래에서 10px 띄우고 첫 줄 높이만큼 더함

for i, line in enumerate(text_lines):

cv2.putText(

img,

line,

(text_x, text_y + i * line_height),

font,

font_scale,

color,

thickness,

cv2.LINE_AA

)

# 결과 이미지 저장

cv2.imwrite(output_image_path, img)

print(f"분석 결과가 {output_image_path}에 저장되었습니다.")

# 사용법

analyze_and_draw_faces("./images/m_news_zum_com_img008.jpg", "m_news_zum_com_img008_out.jpg")

결과를 확인해 볼까요??

GPU를 돌리지 않아도 1,2 fps 정도의 프레임 처리는 가능하겠네요.

여기저기 쓸데가 많아 보입니다.

구글 mediapipe API를 이용하여 얼굴 인식 및 face landmark 그리기

빗자루검 — Wed, 16 Jul 2025 17:30:06 +0900

1. mediapipe 개요

https://mediapipe-studio.webapps.google.com/home

Mediapipe 패키지는 Google에서 개발한 오픈소스 프레임워크로, 주로 기계 학습 모델을 활용한 멀티모달(다중 모드) 지각 인식을 위한 솔루션을 제공합니다. 즉, 이미지, 비디오, 오디오 등의 다양한 데이터를 입력으로 받아 사람의 얼굴, 손, 몸 등의 특징을 실시간으로 감지하고 추적하는 데 특화되어 있습니다.

실시간 처리: 매우 낮은 지연 시간으로 작동하도록 설계되어 실시간 애플리케이션에 적합합니다. 웹캠 피드, 스마트폰 카메라 등에서 직접 데이터를 처리할 수 있습니다.
크로스 플랫폼 지원: 데스크톱(Linux, macOS, Windows), 모바일(Android, iOS), 웹 등 다양한 플랫폼에서 사용할 수 있도록 지원합니다.
다양한 솔루션 제공: 얼굴 감지, 얼굴 랜드마크, 손 랜드마크, 자세 추정, 객체 감지 등 다양한 사전 훈련된 솔루션을 제공하여 개발자가 복잡한 모델을 직접 구축할 필요 없이 쉽게 활용할 수 있습니다.
그래프 기반 아키텍처: 데이터를 처리하는 파이프라인을 그래프 형태로 구성하여 유연하고 확장 가능한 솔루션 개발을 가능하게 합니다.
경량화된 모델: 모바일 및 임베디드 장치에서도 효율적으로 작동하도록 최적화된 경량화된 모델을 사용합니다.

2. 주요 솔루션

Mediapipe는 다양한 사전 구축된 솔루션을 제공하며, 대표적인 몇 가지는 다음과 같습니다.

MediaPipe Face Detection (얼굴 감지): 이미지나 비디오에서 얼굴의 위치를 감지합니다.
MediaPipe Face Mesh (얼굴 메시): 468개의 3D 얼굴 랜드마크를 감지하여 얼굴 표정, 움직임 등을 정밀하게 추적합니다. AR(증강 현실) 필터나 가상 메이크업 등에 활용될 수 있습니다.
MediaPipe Hands (손 랜드마크): 손의 21개 3D 랜드마크를 감지하여 손가락 움직임, 제스처 등을 인식하는 데 사용됩니다. 가상 현실 상호작용, 수화 인식 등에 활용될 수 있습니다.
MediaPipe Pose (자세 추정): 사람의 몸에서 33개의 3D 랜드마크를 감지하여 전신 자세를 추정합니다. 피트니스 트래킹, 재활 치료, 동작 분석 등에 활용될 수 있습니다.
MediaPipe Holistic (홀리스틱): 얼굴, 손, 자세 랜드마크를 동시에 감지하여 전반적인 사람의 행동 및 상호작용을 이해하는 데 도움을 줍니다.
MediaPipe Objectron (객체 감지): 3D 객체를 감지하고 그 포즈를 추정합니다. 일상적인 물체의 크기, 방향 등을 파악하는 데 사용됩니다.
MediaPipe Selfie Segmentation (셀카 분할): 이미지에서 사람과 배경을 분리하여 셀카 애플리케이션에서 배경 변경 등의 기능을 구현할 수 있도록 합니다.

예전에는 여러 모델을 구축하여 각각 전처리 후처리를 통해 만드는 수고가 있었는데 정형화된 비젼 기능은 그냥 가져다가 쓰기만 하면 되는것이 아주 편리합니다.

3. mediapipe를 이용한 얼굴인식과 페이스랜드마크 그리기

여기서는 streamlit을 이용하여 파일을 업로드 하고 해당 파일에서 얼굴을 찾고 페이스랜드마크를 순서대로 그려 보겠습니다.

import streamlit as st # streamlit 라이브러리 임포트(웹앱 UI용)

from PIL import Image, ImageDraw # PIL 라이브러리에서 이미지 처리 및 그리기 기능 임포트

import numpy as np # numpy 라이브러리 임포트(배열 및 수치 연산용)

# mediapipe는 pip install mediapipe로 설치 필요

import mediapipe as mp # mediapipe 라이브러리 임포트(얼굴 검출 및 랜드마크용)

mp_face_detection = mp.solutions.face_detection # mediapipe의 얼굴 검출 모듈 할당

mp_face_mesh = mp.solutions.face_mesh # mediapipe의 얼굴 랜드마크(메쉬) 모듈 할당

# 각 기능별 샘플 함수 예시

def detect_face(image_np): # 얼굴 검출 함수 정의

with mp_face_detection.FaceDetection(model_selection=1, min_detection_confidence=0.5) as face_detection: # 얼굴 검출기 초기화

results = face_detection.process(image_np) # 이미지에서 얼굴 검출 수행

return results # 결과 반환

def detect_face_mesh(image_np): # 얼굴 랜드마크 검출 함수 정의

with mp_face_mesh.FaceMesh(static_image_mode=True, max_num_faces=5, refine_landmarks=True) as face_mesh: # 얼굴 메쉬 검출기 초기화

results = face_mesh.process(image_np) # 이미지에서 얼굴 랜드마크 검출 수행

return results # 결과 반환

st.title("사진 업로드 및 얼굴 랜드마크 오버레이 웹앱") # 웹앱 타이틀 표시

uploaded_file = st.file_uploader("사진을 업로드하세요", type=["jpg", "jpeg", "png"]) # 파일 업로더 위젯 생성(이미지 파일만 허용)

if uploaded_file is not None: # 파일이 업로드된 경우

image = Image.open(uploaded_file).convert("RGB") # 업로드된 이미지를 열고 RGB로 변환

st.subheader("원본 사진") # 원본 사진 섹션 제목 표시

st.image(image, caption='업로드한 사진', use_container_width=True) # 업로드한 이미지 표시

# 얼굴 검출

face_results = detect_face(np.array(image)) # 얼굴 검출 함수 호출(이미지를 numpy 배열로 변환)

overlay_img_face = image.copy() # 얼굴 박스를 그릴 이미지 복사본 생성

if face_results.detections: # 얼굴이 검출된 경우

draw = ImageDraw.Draw(overlay_img_face) # 이미지에 그리기 위한 객체 생성

for detection in face_results.detections: # 검출된 얼굴마다 반복

bboxC = detection.location_data.relative_bounding_box # 얼굴의 상대적 바운딩 박스 정보 추출

x1 = int(bboxC.xmin * image.width) # 바운딩 박스 좌상단 x좌표 계산

y1 = int(bboxC.ymin * image.height) # 바운딩 박스 좌상단 y좌표 계산

x2 = int((bboxC.xmin + bboxC.width) * image.width) # 바운딩 박스 우하단 x좌표 계산

y2 = int((bboxC.ymin + bboxC.height) * image.height) # 바운딩 박스 우하단 y좌표 계산

draw.rectangle([x1, y1, x2, y2], outline=(255,0,0), width=2) # 얼굴 위치에 빨간색 사각형 그리기

st.subheader("얼굴 검출 결과") # 얼굴 검출 결과 섹션 제목 표시

st.image(overlay_img_face, caption='얼굴이 표시된 사진', use_container_width=True) # 얼굴 박스가 표시된 이미지 출력

else: # 얼굴이 검출되지 않은 경우

st.warning("얼굴을 찾을 수 없습니다. 다른 사진을 시도해보세요.") # 경고 메시지 표시

# 얼굴 랜드마크 검출

face_mesh_results = detect_face_mesh(np.array(image)) # 얼굴 랜드마크 검출 함수 호출

overlay_img_mesh = image.copy() # 랜드마크를 그릴 이미지 복사본 생성

if face_mesh_results.multi_face_landmarks: # 얼굴 랜드마크가 검출된 경우

draw = ImageDraw.Draw(overlay_img_mesh) # 이미지에 그리기 위한 객체 생성

for face_landmarks in face_mesh_results.multi_face_landmarks: # 검출된 얼굴마다 반복

for lm in face_landmarks.landmark: # 각 얼굴의 랜드마크 포인트마다 반복

x = int(lm.x * image.width) # 랜드마크 x좌표 계산

y = int(lm.y * image.height) # 랜드마크 y좌표 계산

draw.ellipse((x-1, y-1, x+1, y+1), fill=(0,255,0)) # 해당 위치에 초록색 점(원) 그리기

st.subheader("얼굴 랜드마크 오버레이") # 얼굴 랜드마크 오버레이 섹션 제목 표시

st.image(overlay_img_mesh, caption='랜드마크가 표시된 사진', use_container_width=True) # 랜드마크가 표시된 이미지 출력

else: # 얼굴 랜드마크가 검출되지 않은 경우

st.warning("얼굴 랜드마크를 찾을 수 없습니다.") # 경고 메시지 표시

4. 결과 확인

OpenCV, 알고리즘 기반의 정면 얼굴 탐지 모델(딥러닝x, 사용예제)

빗자루검 — Wed, 16 Jul 2025 14:10:50 +0900

1. Haar Cascade 분류기

OpenCV에서 제공하는 사전 학습된 정면 얼굴 탐지 모델은 2001년에 발표된 Viola-Jones 알고리즘에 기반합니다. 이 알고리즘은 딥러닝 모델에 비해 속도가 매우 빠르고 가벼워 저사양 시스템에서도 실시간으로 작동하는 장점이 있습니다.

Haar Cascade 모델은 미리 정의된 명암 패턴(하르 특징)을 사용해, 빠르고 효율적인 단계별 검사를 통해 얼굴을 찾아내는 방식입니다.

2. 주요 특징

(1) 하르 특징 (Haar-like Features)
이미지의 명암 패턴을 이용해 얼굴의 특징을 찾아냅니다.
예를 들어, 눈 영역은 뺨보다 어둡고, 코의 양옆은 코보다 어둡다는 등의 특징을 사각형 필터로 잡아내는데 수많은 종류의 하르 특징 필터가 이미지 전체를 훑으며 얼굴의 특징과 일치하는 영역을 찾습니다.

(2) 적분 영상 (Integral Image)
수많은 하르 특징을 이미지 전체에 대해 매우 빠르게 계산하기 위한 기술입니다.
이미지의 픽셀 합을 미리 계산해 둠으로써, 특정 영역의 픽셀 합을 단 몇 번의 연산으로 구할 수 있게 하여 계산 속도를 획기적으로 높입니다.

(3) 에이다부스트 (AdaBoost)
수많은 하르 특징 중에서 얼굴을 구별하는 데 가장 효과적인 특징들을 선별하고, 이들을 조합하여 하나의 강력한 얼굴 탐지기를 만드는 알고리즘입니다.

(4) 분류기 폭포 (Cascade of Classifiers)
효율성을 극대화하기 위해 간단하고 빠른 분류기부터 시작하여 여러 단계의 분류기를 폭포처럼 연결합니다.
초기 단계에서 얼굴이 아님이 명확한 영역은 빠르게 탈락시키고, 모든 단계를 통과한 영역만을 최종적으로 얼굴로 판단합니다

이 모델은 haarcascade_frontalface_default.xml 파일에 그 정보가 담겨 있습니다.

공식 저장소는 다음과 같습니다.

https://github.com/opencv/opencv/tree/master/data/haarcascades

opencv/data/haarcascades at master · opencv/opencv

Open Source Computer Vision Library. Contribute to opencv/opencv development by creating an account on GitHub.

github.com

3. 딥러닝과의 차이점

구분	Haar Cascade (전통 머신러닝)	딥러닝 (CNN 기반)
특징 추출	개발자가 직접 설계한 하르 특징(명암 패턴) 사용	인공신경망이 데이터(수많은 이미지)를 스스로 학습하여 특징 추출
정확도	정면 얼굴, 조명이 좋은 환경에서는 준수한 성능. 하지만 가려짐, 다양한 각도, 표정 변화에 취약	가려지거나, 측면이거나, 다양한 조명과 표정에서도 훨씬 높은 탐지 정확도를 보임
속도/무게	매우 빠르고 가벼움. 저사양 CPU에서도 실시간 처리 가능	상대적으로 느리고 무거움. GPU 연산이 권장됨 (최근 경량화 모델도 많아짐)
데이터 의존성	비교적 적은 양의 데이터로도 학습 가능	대규모 데이터셋이 필수적

이를 이용한 사용 예제는 아래 참고.

https://yongeekd01.tistory.com/223

Openai API를 이용하여 web 검색 하기 + 결과에서 얼굴이 있는 이미지만 저장하기(Web search, Responses API

openai API를 사용해서 web search를 수행할 수 있습니다. API가 워낙에 잘 되어 있어서 몇줄 되지도 않네요. 그냥 그것만 하면 재미 없으니까 후처리를 좀 추가해 보겠습니다. 1. Web Search Tools 이란? opena

yongeekd01.tistory.com

Openai API를 이용하여 web 검색 하기 + 결과에서 얼굴이 있는 이미지만 저장하기(Web search, Responses API, opencv)

빗자루검 — Wed, 16 Jul 2025 10:20:56 +0900

openai API를 사용해서 web search를 수행할 수 있습니다.

API가 워낙에 잘 되어 있어서 몇줄 되지도 않네요. 그냥 그것만 하면 재미 없으니까 후처리를 좀 추가해 보겠습니다.

1. Web Search Tools 이란?

openai api에는 몇가지 tools을 사용할 수 있는 방법을 제공하고 있습니다.

그중 web search tool을 사용하겠습니다.

상세는 아래에서.

https://platform.openai.com/docs/guides/tools?api-mode=responses

2. response 정보 확인하기

(API key 등록은 OPENAI_API_KEY라는 이름으로 먼저 환경변수에 등록해놓아야 합니다. 키 발급방법은 패스)

from openai import OpenAI # OpenAI API를 사용하기 위한 패키지

# OpenAI 클라이언트 객체 생성

client = OpenAI()

# GPT-4.1 모델을 사용하여 웹 검색 프리뷰 도구로 질의 실행

response = client.responses.create(

model="gpt-4.1", # 사용할 모델 지정

tools=[{"type": "web_search_preview"}], # 웹 검색 프리뷰 도구 사용

input="금발의 연예인 사진을 찾아줘" # 검색할 내용 입력

)

print(response.output_text)

응답은 chatgpt의 설명과 함께 찾아낸 url이 한덩어리의 text로 되어 있습니다.

제대로 사용하기 위해서는 문자열을 적당히 파싱해야 합니다.

응답을 한번 보겠습니다.

금발 헤어스타일로 주목받은 여러 연예인들의 사진을 소개해 드리겠습니다.

**블랙핑크 로제**
로제는 금발로 변신한 후 더욱 화려한 미모를 뽐내며 팬들의 찬사를 받았습니다. ([insight.co.kr](https://www.insight.co.kr/news/233198?utm_source=openai))

**에스파 윈터**
윈터는 흑발과 금발 모두 잘 어울리는 '톤파괴자'로 알려져 있으며, 금발로 신비로운 매력을 발산합니다. ([allurekorea.com](https://www.allurekorea.com/2022/08/08/%EC%85%80%EB%9F%BD%EB%93%A4%EC%9D%98-%ED%9D%91%EB%B0%9Cvs%EA%B8%88%EB%B0%9C-%EB%85%BC%EC%9F%81/?utm_source=openai))

**전소미**
전소미는 금발로 염색한 후 바비인형 같은 비주얼로 화제를 모았습니다. ([news-ade.com](https://news-ade.com/star-ade/article/142403/?utm_source=openai))

**트와이스 사나**
사나는 금발로 변신하여 더욱 상큼한 매력을 선보였습니다. ([insight.co.kr](https://www.insight.co.kr/news/233198?utm_source=openai))

**소녀시대 태연**
태연은 다양한 금발 스타일을 시도하며 우아한 미모를 뽐냈습니다. ([news-ade.com](https://news-ade.com/star-ade/article/142403/?utm_source=openai))

이러한 연예인들의 금발 변신은 각자의 매력을 한층 더 돋보이게 하며 팬들의 큰 사랑을 받고 있습니다.

3. url 파싱

응답 문자열에서 url만 잘래내서 배열로 저장합니다.

# URL 추출

# 정규식을 사용하여 'https://' 부터 '?utm_source=openai' 전까지의 URL을 찾습니다.

url_pattern = re.compile(r'https://[^\s\)]+')

found_urls = url_pattern.findall(response.output_text)

# UTM 소스를 제거하여 순수 URL만 추출합니다.

cleaned_urls = [url.split('?utm_source=openai')[0] for url in found_urls]

print("추출된 URL 목록:")

for url in cleaned_urls:

print(url)

추출된 URL 목록:
https://www.insight.co.kr/news/233198
https://www.allurekorea.com/2022/08/08/%EC%85%80%EB%9F%BD%EB%93%A4%EC%9D%98-%ED%9D%91%EB%B0%9Cvs%EA%B8%88%EB%B0%9C-%EB%85%BC%EC%9F%81/
https://news-ade.com/star-ade/article/142403/
https://www.insight.co.kr/news/233198
https://news-ade.com/star-ade/article/142403/

3. 사이트에서 이미지 다운로드 및 얼굴 찾기

다운로드는 requests를 이용하고 얼굴찾기는 opencv에서 제공되는 사전 학습된 얼굴 탐지 모델을 사용합니다.

모델파일은 먼저 내려받아서 파이썬 파일이 있는 폴더에 같이 저장해놓으면 됩니다.

모델파일 위치 :

https://raw.githubusercontent.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_default.xml

이미지 중 특정 크기 이상, 얼굴을 포함한 이미지만 저장하고 얼굴이 없는 이미지는 따로 저장하도록 구현하였습니다.

다음은 최종 코드 입니다 .

from openai import OpenAI # OpenAI API를 사용하기 위한 패키지

import os # 파일 및 디렉토리 관리(경로, 폴더 생성 등)

import re # 정규표현식(문자열 검색 및 추출)

import io # 파일 및 스트림 입출력 처리

import requests # HTTP 요청(웹 페이지, 이미지 등 다운로드)

from urllib.parse import urlparse, urljoin # URL 파싱 및 결합

from bs4 import BeautifulSoup # HTML 파싱 및 웹 크롤링

from PIL import Image # 이미지 파일 처리 및 변환

import cv2 # OpenCV 라이브러리(이미지 처리, 얼굴 인식 등)

import numpy as np # 수치 연산 및 배열 처리

# OpenAI 클라이언트 객체 생성

client = OpenAI()

# GPT-4.1 모델을 사용하여 웹 검색 프리뷰 도구로 질의 실행

response = client.responses.create(

model="gpt-4.1", # 사용할 모델 지정

tools=[{"type": "web_search_preview"}], # 웹 검색 프리뷰 도구 사용

input="금발의 연예인 사진을 찾아줘" # 검색할 내용 입력

)

print(response.output_text)

# 사전 학습된 얼굴 탐지 모델 로드

# 얼굴 탐지 모델 파일 다운로드

# https://raw.githubusercontent.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_default.xml

# (링크를 마우스 오른쪽 버튼으로 클릭하여 '다른 이름으로 링크 저장')

# 다운로드한 haarcascade_frontalface_default.xml 파일을 파이썬 스크립트(.py)가 있는 동일한 폴더에 저장하기

face_cascade_path = 'haarcascade_frontalface_default.xml'

if not os.path.exists(face_cascade_path):

print(f"오류: '{face_cascade_path}' 파일을 찾을 수 없습니다.")

print("스크립트와 같은 폴더에 모델 파일을 다운로드해주세요.")

exit()

face_cascade = cv2.CascadeClassifier(face_cascade_path)

# URL 추출

# 정규식을 사용하여 'https://' 부터 '?utm_source=openai' 전까지의 URL을 찾습니다.

url_pattern = re.compile(r'https://[^\s\)]+')

found_urls = url_pattern.findall(response.output_text)

# UTM 소스를 제거하여 순수 URL만 추출합니다.

cleaned_urls = [url.split('?utm_source=openai')[0] for url in found_urls]

print("추출된 URL 목록:")

for url in cleaned_urls:

print(url)

# 이미지 다운로드 폴더 생성

# 저장할 폴더 2개 생성

face_folder = 'images' # 얼굴 있는 이미지 폴더

noface_folder = 'noface' # 얼굴 없는 이미지 폴더

os.makedirs(face_folder, exist_ok=True)

os.makedirs(noface_folder, exist_ok=True)

# 각 URL을 순회하며 이미지 다운로드

for page_url in cleaned_urls:

try:

# 파일명에 사용할 사이트 이름 추출

site_name = urlparse(page_url).netloc.replace('.', '_')

image_counter = 1 # 각 사이트마다 카운터 초기화

# 페이지에서 이미지 다운로드 시작 알림 출력

print(f"\n[{page_url}] 페이지에서 이미지 다운로드를 시작합니다...")

# User-Agent 헤더 설정 (크롤링 차단 방지용)

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}

# 해당 페이지 요청 및 응답 받기

response = requests.get(page_url, headers=headers, timeout=10)

response.raise_for_status() # 요청 실패 시 예외 발생

# BeautifulSoup을 사용하여 HTML 파싱

soup = BeautifulSoup(response.text, 'html.parser')

# 모든 <img> 태그 추출

img_tags = soup.find_all('img')

# 이미지 태그가 없으면 안내 후 다음 URL로

if not img_tags:

print(" -> 이 페이지에서 이미지를 찾을 수 없습니다.")

continue

# 각 이미지 태그 순회

for img_tag in img_tags:

img_url = img_tag.get('src') # 이미지 URL 추출

if not img_url:

continue # src 속성이 없으면 건너뜀

# 상대경로일 경우 절대경로로 변환

img_url = urljoin(page_url, img_url)

# base64 등 data URI 형식은 건너뜀

if img_url.startswith('data:image'):

continue

if img_url.startswith('//'):

img_url = 'https:' + img_url

try:

# 이미지 다운로드 요청

img_response = requests.get(img_url, headers=headers, stream=True, timeout=15)

img_response.raise_for_status()

img_data_bytes = img_response.content # 이미지 바이너리 데이터

# PIL을 사용하여 이미지 열기

with Image.open(io.BytesIO(img_data_bytes)) as img:

width, height = img.size # 이미지 크기 추출

if width >= 300 and height >= 300:

# 2. 이미지를 OpenCV가 처리할 수 있는 형태로 변환

image_stream = np.frombuffer(img_data_bytes, np.uint8)

image_for_cv = cv2.imdecode(image_stream, cv2.IMREAD_COLOR)

# 흑백으로 변환하여 탐지 성능 향상

gray = cv2.cvtColor(image_for_cv, cv2.COLOR_BGR2GRAY)

# 3. 얼굴 탐지 수행

# scaleFactor: 이미지 크기를 얼마나 줄일지 (1.1 = 10%)

# minNeighbors: 얼마나 많은 이웃 사각형이 겹쳐야 얼굴로 인정할지

faces = face_cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=5, minSize=(30, 30))

# 파일 확장자 결정

original_filename = os.path.basename(urlparse(img_url).path)

_, extension = os.path.splitext(original_filename)

if not extension: extension = '.jpg'

# 새 파일 이름 생성

new_filename = f"{site_name}_img{image_counter:03d}{extension}"

# ⭐ 얼굴 유무에 따라 저장 경로 분기

if len(faces) > 0:

# 얼굴이 있으면 'images' 폴더에 저장

filepath = os.path.join(face_folder, new_filename)

print(f" -> 얼굴 {len(faces)}개 검출! '{face_folder}' 폴더에 저장합니다.")

else:

# 얼굴이 없으면 'noface' 폴더에 저장

filepath = os.path.join(noface_folder, new_filename)

print(f" -> 얼굴 없음. '{noface_folder}' 폴더에 저장합니다.")

# 파일 저장

with open(filepath, 'wb') as f:

f.write(img_data_bytes)

print(f" -> {new_filename} 저장 완료 (크기: {width}x{height})")

image_counter += 1 # 파일이 저장되었으므로 카운터 증가

else:

print(f" -> 크기 작음({width}x{height}). 건너뛰기")

except Exception:

# 이미지 다운로드, 처리 중 오류 발생 시 건너뛰기

pass

except Exception as e:

print(f"페이지 접속 또는 처리 실패: {page_url} ({e})")

print("\n모든 작업이 완료되었습니다.")

4. 결과 확인

이제 결과를 확인해 보겠습니다.

금발의 연예인 사진 중 얼굴이 있는 것만 잘 저장이 되었을까요?

금발 연예인 키워드로 사이트를 먼저 찾고 얼굴이 있는 것들을 저장하니 사이트 안에 있는 다른 이미지들도 같이 저장되어 몇개 불필요한 사진도 있네요.

대충 잘 돌아가는 듯 합니다. ^^

Openai API 가격정책 및 플래그쉽 모델 정보 (Chatgpt)

빗자루검 — Tue, 15 Jul 2025 15:08:33 +0900

Openai는 정말 복잡한 가격 정책을 사용하고 있습니다.

모델 특성별, 속도별, 입출력 데이터 타입지원별 등등

토큰으로 되어 있으니 쓰고 나서 얼마 나왔다는 결론을 알수 있어도 가격 예측은 거의 불가능하네요.

크게 추론모델이 일단 확실히 비싸고

mini 모델들은 자기들 나름 저렴하다고 주장합니다.

예전에 비해서는 모델의 특성과 속도, 지원 입출력, 가격 정책이 각 모델 별로 잘 정리가 되어 있어 다행입니다. (하지만 그래도 너무 많아… )

플래그쉽 모델인 GPT-4.1을 한번 볼까요.

모든 모델의 특성과 상세한 내역은 다음에서 확인하시면 됩니다.

https://platform.openai.com/docs/models

모델이 너무 많아 다 비교할 수는 없으니 25년7월 현재 많이 사용하는 주요 모델만 확인 해 보겠습니다.

텍스트 토큰만 비교해 본 것입니다. 오디오나 비디오 토근은 더 계산 불가..

추론 모델 o1-pro, o3-pro는 엄청나군요. 아무리 좋아도 내 돈내고 쓰기는 어렵겠습니다.

			Price per 1M tokens
Model	Input	Cached input	Output
gpt-4.1	$2.00	$0.50	$8.00
gpt-4.1-2025-04-14
gpt-4.1-mini	$0.40	$0.10	$1.60
gpt-4.1-mini-2025-04-14
gpt-4.1-nano	$0.10	$0.03	$0.40
gpt-4.1-nano-2025-04-14
gpt-4.5-preview	$75.00	$37.50	$150.00
gpt-4.5-preview-2025-02-27
gpt-4o	$2.50	$1.25	$10.00
gpt-4o-2024-08-06
gpt-4o-audio-preview	$2.50	-	$10.00
gpt-4o-audio-preview-2024-12-17
gpt-4o-realtime-preview	$5.00	$2.50	$20.00
gpt-4o-realtime-preview-2025-06-03
gpt-4o-mini	$0.15	$0.08	$0.60
gpt-4o-mini-2024-07-18
gpt-4o-mini-audio-preview	$0.15	-	$0.60
gpt-4o-mini-audio-preview-2024-12-17
gpt-4o-mini-realtime-preview	$0.60	$0.30	$2.40
gpt-4o-mini-realtime-preview-2024-12-17
o1	$15.00	$7.50	$60.00
o1-2024-12-17
o1-pro	$150.00	-	$600.00
o1-pro-2025-03-19
o3-pro	$20.00	-	$80.00
o3-pro-2025-06-10
o3	$2.00	$0.50	$8.00
o3-2025-04-16
o3-deep-research	$10.00	$2.50	$40.00
o3-deep-research-2025-06-26
o4-mini	$1.10	$0.28	$4.40
o4-mini-2025-04-16
o4-mini-deep-research	$2.00	$0.50	$8.00
o4-mini-deep-research-2025-06-26
o3-mini	$1.10	$0.55	$4.40
o3-mini-2025-01-31
o1-mini	$1.10	$0.55	$4.40
o1-mini-2024-09-12
codex-mini-latest	$1.50	$0.38	$6.00
codex-mini-latest
gpt-4o-mini-search-preview	$0.15	-	$0.60
gpt-4o-mini-search-preview-2025-03-11
gpt-4o-search-preview	$2.50	-	$10.00
gpt-4o-search-preview-2025-03-11
computer-use-preview	$3.00	-	$12.00
computer-use-preview-2025-03-11
gpt-image-1	$5.00	$1.25	-

상세한 가격 정보는 다음에서 확인하세요.

https://platform.openai.com/docs/pricing

돈만 좀 내면 서비스에 바로 접목할 수 있는 이런 API들이 쏟아지고 있는 세상에서

우수한 국산 파운데이션 모델 개발이 너무 뒤쳐진 것은 정말 문제입니다… 언제쯤 제대로 된 것이 나올까요.
나오면 애국심으로 다시 그 모델을 쓰긴 하게 될까요...

안경점에서 검도용 안경 맞추기(호면 내 착용 안경, 한티역 안경공장쇼룸)

빗자루검 — Fri, 11 Jul 2025 13:36:13 +0900

눈이 나쁜 관계로.. 검도할때 많이 불편하다.

운동할때 몇시간만 참으면 되니까 그동안 일회용 렌즈를 사용하고 있었는데

드디어 문제가 생겼다.

렌즈를 다루는 손도 지저분했는지 눈에 결막염과 잘잘한 결석이 자주 생기기 시작했다.

이거 안과 다니는 돈이 더들겠네 싶을 정도로 빈번해져서 결국 호면안에 착용이 가능한 안경을 찾기로 했다.

물론 검도 안경이라고 나오는 스포맥스 제품이 유명 하긴 하지만 고무줄이 자주 헐거워지고 코받침이 눈에 너무 딱 붙어서 영 마음에 안들더라..

인터넷으로 수도 없이 검색을 해봐도 이게 괜찮을까 판단이 안서서

결국 동네 안경점으로 호면을 들고 방문했다.

창피함은 순간이고 편안함은 영원하니까. ^^

한티역 앞에 최근에 안경공장쇼룸 강남점(구. 그랑프리안경)으로 호면을 들고 고고~

여기는 여러 안경사님 분들이 계신데 항상 친절하고 과잉판매가 없어서 좋다. 온가족 안경을 다 여기서 했음.

대치동 강추 안경점!!

도착하자 마자 척하니 호면을 내려놓고 안경점 실장님께 사정을 설명드렸다.

-얼굴의 폭보다 작지만 덜렁거리지 않아야함

-호면 착용 시 안경다리가 눌리지 않아야 함

-땀에 강해야 함

등등

처음엔 땀 때문에 뿔테를 먼저 확인. 호면에 넣어서 대략적인 크기를 확인하고 착용을 통해 통증이나 불편감을 확인 해 보았다.

뿔테는 아무래도 살짝 다리가 두꺼운 감이 있다.. 꽉 묶으면 조금 아픈듯 하고 운동시 귀때기를 맞으면 문제가 있을 것 같은 느낌이...

탄력도 좀 있고 안경다리가 최대한 가는 것으로 실장님이 다시 여러가지를 찾아 주셨다. 또 다시 착용후 테스트.

다른 손님들이 들어와서 저놈은 뭔가 하고 쳐다보는 것이 느껴지지만 어차피 호면 쓰면 누군지 모르기 때문에 무시.

몇번만에 맘에 드는 것을 찾았다. 오..

가볍고 작고 안경 다리도 아주 가는 어린이용 안경테!!! ㅋㅋ 대박!

아주 마음에 든다. 내일 찾아서 담주에 도장가서 사용해 봐야겠다.

좋아 좋아~~~

vscode에서 streamlit 사용시 break point 사용하기 (launch.json, 디버깅)

빗자루검 — Fri, 14 Feb 2025 12:57:23 +0900

sreamlit은 브라우져에서 동작하기 때문에

streamlit run xxxxxxx.py 형태로 실행하게 됩니다.

브라우저 상에서 st.write()만 가지고 디버깅하기에는 어려움이 있기때문에

일반적인 디버깅 방식으로 실행하는 법을 알아보겠습니다.

1. 기본 설정

일단

VSCode의 Python 디버거가 debugpy를 찾지 못할 경우, debugpy 모듈이 설치되지 않았거나 올바르게 설치되지 않았을 가능성이 있습니다.

pip install debugpy 설치

vscode에서 현재 프로젝트의 launch.json 수정하기

일반적으로 파일 디버깅을 위해서는 아래와 같이 하는데..

{

"version": "0.2.0",

"configurations": [

{

"name": "Python 디버거: 현재 파일",

"type": "python",

"request": "launch",

"program": "${file}",

"console": "integratedTerminal",

"justMyCode": false,

}

]

}

2. streamlit 사용하여 디버깅하기

streamlit을 사용하기 위해서는 다음과 같이 설정 해야 한다.

{

// Use IntelliSense to learn about possible attributes.

// Hover to view descriptions of existing attributes.

// For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387

"version": "0.2.0",

"configurations": [

"name": "Python: Streamlit",

"type": "python",

"request": "launch",

"module": "streamlit",

"args": [

"run",

"${workspaceFolder}/실행할파이썬파일.py"

"console": "integratedTerminal",

"justMyCode": false

}

]

}

wheel 그룹 권한으로 사용자 계정의 root 권한 획득하는 법(sudo 명령어)

빗자루검 — Thu, 6 Feb 2025 13:32:12 +0900

리눅스에서 "wheel" 그룹은 시스템 관리와 관련된 특별한 권한을 가진 사용자 그룹입니다.

이 그룹의 주요 목적은 특정 사용자에게 root 권한을 부여할 수 있도록 하는 것입니다.

1. su 명령어 사용

"wheel" 그룹에 속한 사용자는 su 명령어를 사용하여 root 사용자로 전환할 수 있습니다.

2. 보안 강화

모든 사용자가 root 권한을 얻을 수 없도록 제한함으로써 보안을 강화합니다.

"wheel" 그룹에 속한 사용자만이 sudo 명령을 통해 root 권한을 얻을 수 있습니다.

사용자추가 (예 user01)

useradd user01

passwd user01

groupadd wheel

usermod -G wheel user01

설정 확인

cat /etc/group | grep wheel

wheel:x:10:user01

이제 user01 계정 사용자는 sudo 명령으로 root 권한을 사용할 수 있습니다.

ntfs 파일시스템 mount 하기 (usb, 외장하드, rocky linux)

빗자루검 — Wed, 5 Feb 2025 16:46:32 +0900

리눅스에 ntfs로 포맷된 usb 스틱이나 외장하드를 연결에서 사용할 때 파일 시스템이 인식이 안되는 경우 설치 및 설정 방법을 알아보자

1. reop 설정 및 ntfs-3g 도구 설치

yum install epel-release -y

yum install ntfs-3g

2. usb 디스크 정보 확인

fdisk -l

3. mount 폴더 생성 및 마운트

mkdir /home/usb

mount -t ntfs-3g /dev/sdc1 /home/usb

df -h

끝.

Linux 유저 삭제가 삭제가 안될 때(userdel, pkill)

빗자루검 — Thu, 23 Jan 2025 10:55:45 +0900

리눅스에서 사용자를 추가하려면 useradd 명령어를 사용합니다.

useradd <사용자명>

기본적으로 사용자의 홈 디렉토리는 생성되지 않으며, 계정만 생성됩니다.
생성된 사용자의 상세 정보는 /etc/passwd 파일에 저장됩니다.

useradd -m <사용자명>
-m 옵션은 사용자의 홈 디렉토리를 자동으로 생성하고 홈 디렉토리는 /home/<사용자명> 경로로 만들어집니다.

이제 사용자를 지워봅시다.

사용자를 삭제하려면 userdel 명령어를 사용합니다.

userdel <사용자명>

홈 디렉토리와 메일 스풀(/var/spool/mail/<사용자명>)까지 삭제하려면 -r 옵션을 사용합니다.

userdel -r <사용자명>

여기서는 ftpuser라는 사용자를 추가 했다가 지우는 예 입니다.

[root@localhost home]# userdel ftpuser
userdel: user ftpuser is currently used by process 397855

어 근데 안지워지는 놈이 있습니다. 프로세스가 사용중이라네요.

이때는 그냥 pkill로 죽이고 다시 userdel을 사용하면 됩니다.

pkill -u ftpuser

userdel -r ftpuser

userdel 명령어로 사용자를 삭제해도 기본적으로 홈 디렉토리는 삭제되지 않습니다. 상황에 따라 수동 삭제가 필요할 수도 있습니다.

Rocky linux ntp 설정하기, 시간 설정(timedatectl, chrony 사용)

빗자루검 — Fri, 27 Dec 2024 17:02:11 +0900

보통 시간을 확인할 때 date 명령어를 이용하여 확인 및 설정을 합니다.

하지만, 이런 방식 보다는 NTP를 사용하여 시간 동기화 하는 방식이 더 정확합니다

NTP(Network Time Protocol)는 컴퓨터 시스템 간에 시간을 동기화하는데 사용되는 프로토콜입니다.

인터넷을 통해 서버 및 클라이언트 간의 시간을 조정하여 각 기기가 동일한 표준 시간을 유지하도록 해서 여러 서버간 시간 동기가 필요할때 꼭 필요합니다.

1. ntp 동기화 설정 확인하기

timedatectl 명령어를 이용하여 현재 설정을 확인합니다.

System clock synchronized : no 로 표시되면 동기화 설정이 되지 않은 것입니다.

2. chrony 설치

chrony는 centos,레드햇 계열은 모두 사용가능합니다.

yum install chrony

시스템 서비스를 시작해주고 재부팅시 자동 수행 가능하도록 enable도 해줍니다.

systemctl start chronyd
systemctl enable chronyd

정상적으로 동작 하고 있는지 확인합니다.

systemctl status chronyd

[root]# systemctl status chronyd
● chronyd.service - NTP client/server
   Loaded: loaded (/usr/lib/systemd/system/chronyd.service; enabled; vendor preset: enabled)
   Active: active (running) since Fri 2024-12-27 16:43:42 KST; 14min ago
     Docs: man:chronyd(8)
           man:chrony.conf(5)
Main PID: 1850993 (chronyd)
    Tasks: 1 (limit: 409070)
   Memory: 1.4M
   CGroup: /system.slice/chronyd.service
           └─1850993 /usr/sbin/chronyd

3. 시간 동기화

chronyc sources # NTP 서버 목록을 확인합니다.
chronyc tracking # 시간 동기화 상태를 확인합니다.

이후에 다시 timedatectl로 확인해 보면 정상적으로 등록되고 시간 정보도 동기화 된것을 확인할 수 있습니다.

Rocky Linux 파이썬으로 네트워트 인터페이스 정보 가져오기, 각 트래픽 량 계산하기 (랜카드별 데이터송수신 데이터량)

빗자루검 — Fri, 8 Nov 2024 18:08:44 +0900

망내에 서버 설계를 하다보면 서버간 데이터 트래픽을 제어해야 할 경우가 있습니다.

여러개의 랜카드를 이용해서 망을 분리하기도 하고 트래픽을 분산 시키기도 하지요.

이런 경우 유용한 함수들을 파이썬으로 구현했습니다.

(인터페이스별 트래픽은 1초만 측정했습니다)

- 인터페이스 목록 가져오기

- 인터페이스 현재 up/down link 상태 가져오기

- 인터페이스별 1초당 트래픽량 측정하기(Tx/Rx)

# 네트워크 인터페이스 목록 가져오기

def get_network_interface() :

network_interfaces = psutil.net_if_addrs()

# 인터페이스 이름 출력

print("network interface list:")

for interface_name, addresses in network_interfaces.items():

print(f"\nintreface: {interface_name}")

for address in addresses:

print(f" address type: {address.family.name}")

print(f" address: {address.address}")

if address.netmask:

print(f" netmask: {address.netmask}")

if address.broadcast:

print(f" broadcast: {address.broadcast}")

# 네트워크 인터페이스 상태 정보 가져오기

def get_network_interface_status() :

# 네트워크 인터페이스 주소 정보 가져오기

network_interfaces = psutil.net_if_addrs()

# 네트워크 인터페이스 상태 정보 가져오기

interface_stats = psutil.net_if_stats()

# 각 인터페이스에 대해 상태 정보 출력하기

for interface, addrs in network_interfaces.items():

print(f"Interface: {interface}")

# 인터페이스 상태 정보 가져오기

stats = interface_stats.get(interface)

if stats:

# 링크 상태 확인

is_up = "Up" if stats.isup else "Down"

print(f" Status: {is_up}")

else:

print(" Status: Unknown")

# 네트워크 인터페이스 트래픽 량 측정하기 1초

def get_network_interface_traffic() :

# 초기 네트워크 인터페이스 별 I/O 카운터 가져오기

initial_counters = psutil.net_io_counters(pernic=True)

# 대기 시간 간격 (초)

wait_time = 1

# 잠시 대기

time.sleep(wait_time)

# 두 번째 네트워크 인터페이스 별 I/O 카운터 가져오기

second_counters = psutil.net_io_counters(pernic=True)

# 초당 전송 및 수신 바이트 계산

for interface, initial in initial_counters.items():

if interface in second_counters:

second = second_counters[interface]

# 초당 수신 바이트

bytes_received_per_second = (second.bytes_recv - initial.bytes_recv) / wait_time

# 초당 전송 바이트

bytes_sent_per_second = (second.bytes_sent - initial.bytes_sent) / wait_time

print(f"Interface: {interface}")

print(f" Bytes Rx/s: {bytes_received_per_second:.2f} B/s")

print(f" Bytes Tx/s: {bytes_sent_per_second:.2f} B/s\n")

if __name__ == '__main__' :

get_network_interface()

get_network_interface_status()

get_network_interface_traffic()

network interface list:

intreface: lo
  address type: AF_INET
  address: 127.0.0.1
  netmask: 255.0.0.0
  address type: AF_INET6
  address: ::1
  netmask: ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff
  address type: AF_PACKET
  address: 00:00:00:00:00:00

intreface: eno1
  address type: AF_INET
  address: 192.168.10.219
  netmask: 255.255.255.0
  broadcast: 192.168.10.255
  address type: AF_INET6
  address: fe80::b53d:d1df:70fd:3e69%eno1
  netmask: ffff:ffff:ffff:ffff::
  address type: AF_PACKET
  address: 7c:10:c9:9f:64:e3
  broadcast: ff:ff:ff:ff:ff:ff

intreface: docker0
  address type: AF_INET
  address: 172.17.0.1
  netmask: 255.255.0.0
  broadcast: 172.17.255.255
  address type: AF_PACKET
  address: 02:42:ed:77:6b:fa
  broadcast: ff:ff:ff:ff:ff:ff
Interface: lo
  Status: Up
Interface: eno1
  Status: Up
Interface: docker0
  Status: Down
Interface: lo
  Bytes Received per Second: 4698.00 B/s
  Bytes Sent per Second: 4698.00 B/s

Interface: eno1
  Bytes Received per Second: 43984.00 B/s
  Bytes Sent per Second: 71699.00 B/s

Interface: docker0
  Bytes Received per Second: 0.00 B/s
  Bytes Sent per Second: 0.00 B/s

python 에서 Rocky linux 시스템 리소스 정보 가져오기(hostname, cpu, ram 사용량 , gpu 사용량, disk 사용량 등)

빗자루검 — Fri, 8 Nov 2024 16:05:51 +0900

개발을 하다보면 시스템 정보를 계속 모니터링 해야하는 경우가 많습니다.

현재 구동중인 프로그램이 CPU 부하를 얼마나 쓰는지 RAM은 얼마나 사용하는지.

memory leak이 있는지 등등..

관련된 정보를 알아오는 방법을 알아보겠습니다.

파이썬에서는 주로 psutil과 GPUtil 을 사용하여 정보를 얻을 수 있습니다.

1. 각종 정보 받아오기 소스

import psutil

import GPUtil

import socket

# 자신의 호스트 이름 가져오기

def get_hostname() :

my_hostname = socket.gethostname()

print(f"hostname: {my_hostname}")

#CPU/RAM 정보 가져오기

def get_cpu_ram():

cpu = psutil.cpu_percent()

print(f"cpu: {cpu:.2f}/100 %")

ram = psutil.virtual_memory()

ram_used = f"{ram.used/1024**3:.2f}"

ram_total = f"{ram.total/1024**3:.2f}"

print(f"ram : {ram_used}/{ram_total} GB")

#GPU/RAM/온도 정보 가져오기

def get_gpu():

gpus = GPUtil.getGPUs()

for gpu in gpus:

print(f"gpu {gpu.id}: {gpu.name}")

print(f" gpu Load: {gpu.load*100}%")

print(f" gpu Free Memory: {gpu.memoryFree}MB")

print(f" gpu Used Memory: {gpu.memoryUsed}MB")

print(f" gpu Total Memory: {gpu.memoryTotal}MB")

print(f" gpu Temperature: {gpu.temperature} C")

if not gpus:

print("No gpu found.")

#마운트된 disk 정보 가져오기

def get_disk() :

# 디스크 파티션 정보 가져오기

partitions = psutil.disk_partitions()

# 관심 있는 마운트포인트만 필터링

interesting_mountpoints = {'/','/home'}

# 각 파티션에 대해 사용량 정보를 가져오기

for partition in partitions:

mountpoint = partition.mountpoint

# 중복이나 필요 없는 시스템 경로를 제외 조건으로 걸러냄

#if mountpoint not in interesting_mountpoints and not mountpoint.startswith('/etc') and not mountpoint.startswith('/usr'):

# interesting_mountpoints.add(mountpoint)

# 설정한 관심 있는 경로만 처리할때

if mountpoint in interesting_mountpoints:

print(f"Device: {partition.device}")

print(f" Mountpoint: {partition.mountpoint}")

print(f" File system type: {partition.fstype}")

try:

# 디스크 사용량 정보 가져오기

usage = psutil.disk_usage(partition.mountpoint)

print(f" Total Size: {usage.total / (1024 ** 3):.2f} GB")

print(f" Used: {usage.used / (1024 ** 3):.2f} GB")

print(f" Free: {usage.free / (1024 ** 3):.2f} GB")

print(f" Usage Percentage: {usage.percent}%")

except PermissionError:

# 특정 파티션에 대한 접근 권한이 없을 수 있습니다.

print(" Could not access this partition.\n")

if __name__ == '__main__' :

get_hostname()

get_cpu_ram()

get_gpu()

get_disk()

실행 결과를 보겠습니다.

hostname: ubuntu219

cpu: 0.00/100 %
ram : 2.49/31.20 GB

gpu 0: NVIDIA GeForce RTX 2080 Ti
  gpu Load: 0.0%
  gpu Free Memory: 11003.0MB
  gpu Used Memory: 15.0MB
  gpu Total Memory: 11264.0MB
  gpu Temperature: 39.0 C

Device: /dev/sda6
  Mountpoint: /
  File system type: ext4
  Total Size: 857.06 GB
  Used: 660.67 GB
  Free: 152.78 GB
  Usage Percentage: 81.2%
Device: /dev/sdc1
  Mountpoint: /home
  File system type: fuseblk
  Total Size: 1863.01 GB
  Used: 909.28 GB
  Free: 953.74 GB
  Usage Percentage: 48.8%

을지로 힙지로 디저트 카페 공간갑(gong gan gab) 푸딩빙수

빗자루검 — Mon, 4 Nov 2024 17:05:52 +0900

달달한게 땡길땐 을지로3가 공간갑을 찾아보세요.

예쁘고 맛있는 다양한 디저트가 준비되어 있습니다. ㅋ

오늘은 공간갑의 신상!!! 푸딩 빙수를 맛보러 갔습니다.

1. 공간갑 위치

위치는 찾기 어렵지 않습니다. 큰길쪽에서 바로 보이거든요.

https://naver.me/5iziIoPy

공간갑 : 네이버

방문자리뷰 1,923 · 블로그리뷰 2,876

m.place.naver.com

2. 외관 둘러보기

카페의 외관도 멋집니다. 쏙 들어가고 싶게 꾸며 놓았어요.

2층으로 올라가는 계단이 바로 옆에 있습니다.

1층 인테리어와 주문하는 곳을 둘러볼까요?

저는 오늘 공간갑의 최애템인 푸딩 빙수와 라테를 주문해서 2층으로 올라갔습니다.

약간 터프한 인테리어. 요즘 유행이죠.

3. 맛보기

요거 요거.. 요물입니다.

정신이 번쩍드는 단맛!! 찰랑거리는 푸딩의 식감과 빙수의 조화!!

기회가 된다면 꼭 방문해보세요

익선동 분위기, 테라스가 있는 수제맥주집 Hang out, 행아웃 둘러보기

빗자루검 — Mon, 4 Nov 2024 16:45:16 +0900

핫한 익선동 골목길은 모두 알고 계시지요?

오늘은 익선동에서 분위기 좋은 수제 맥주집 Hang out, 행아뭇을 소개합니다.

그냥 사악 들어가서 맥주만 한잔 마시면서 지나가는 사람들 구경도 하고 분위기를 즐기기에 좋지요.

안주도 필요 없습니다. ^^

1. 행아웃(Hang out) 위치

사실 위치를 한번에 찾기는 익선동 모든 가게들이 다 어렵.. ㅋ

https://naver.me/F6mxzPs2

행아웃 : 네이버

방문자리뷰 631 · 블로그리뷰 339

m.place.naver.com

2. 행아웃 둘러보기

한옥을 멋지게 개조한 가게라 분위기가 참 좋습니다. 바로 앞에 테라스로 꾸며놓은 것도 맘에 들고요.

그리고 일단 맥주 맛도 좋아야죠? ^^

안밖에서 바라본 풍경입니다.

내부 인터리어도 이국적이고 좋네요

일단 맥주 종류별로 쫙~

익선동을 돌아다니다가 잠시 목을 축이기에 너무 좋습니다.

한번 방문해보세요. ^^

평양냉면 맛집 을지로 우래옥 둘러보기

빗자루검 — Mon, 4 Nov 2024 16:20:50 +0900

오늘은 평양냉면으로 유명한 우래옥을 방문했었습니다.

일요일 오후였지만 여전히 엄청난 대기줄이 있었습니다. ㅋ
하지만 꿋꿋하게 기다려서 맛을 보고 왔지요.

우래옥의 평양냉면은 꿩, 닭 육수와는 달리, 우래옥 육수는 묵직한 소고기 육수라고 하네요.
냉면치고는 싸지않은 가격이죠. 16000원

1. 우래옥 위치

우래옥은 을지로 4가역에서 5분거리에 위치하고 있습니다. 종로5가 역에서도 멀지 않지요.

https://naver.me/GBflfYOR

우래옥 : 네이버

방문자리뷰 9,223 · 블로그리뷰 7,500

m.place.naver.com

2. 외관 둘러보기

워낙에 많은 사람들이 찾다보니 그 좁은 종로바닥에서도 커다란 전용 주차장을 운영하고 있습니다.

주차장 맞은편에 뚜둥. 우래옥 본관이 있습니다.

주차장쪽에도 본관 옆에도 대기하는 사람들을 위한 공간이 있습니다.

엄청 많네요. 테이블링 어플과 연계해서 대기를 등록하면 카톡으로 대기 현황을 실시간으로 확인할 수 있습니다.

저는 40 테이블 쯤 기다려서 3,40분 만에 들어간것 같습니다.

3. 내부 둘러보기

내부는 상당히 넓습니다. 2층도 있고요.

밖의 복작거리는 분위기와 다르게 쾌적합니다.

4. 맛보기

아주 심플 합니다.

먼저 면을 끓인 심심한 면수를 한컵씩 주고 반찬도 겉저리 1개 뿐입니다.

뭐 냉면이 맛있으면 되지요. ㅋ

평양냉면은 여러군데서 먹어봤지만 사실 조금씩 다 다릅니다. 어떤곳은 그냥 밍밍한 맛이라 굳이 이걸 이돈에? 할 때도 있었는데 우래옥 평양냉면은 꽤 국물이 진합니다. 간도 잘 되어 있고요.

고기도 두툼하게 썰어져서 식감도 좋습니다.

테이블에 식초와 겨자도 있긴하지만 그대로의 맛이 더 좋은것 같습니다.

긴 웨이팅이었지만 저는 다시 가보고 싶네요.

아주 맛있습니다. ~~

vscode에서 break point가 동작하지 않을때 해결

빗자루검 — Tue, 27 Aug 2024 16:47:43 +0900

vscode에서 break point를 지정해도 run 시 disable 되어 버리는 경우가 있습니다.

이런 경우 debugpy 모듈이 설치되지 않았거나 올바르게 설치되지 않았을 가능성이 있습니다.

1. debugpy 설치

pip install debugpy

2. launch.json 파일 수정

{

"version": "0.2.0",

"configurations": [

{

"name": "Python 디버거: 현재 파일",

"type": "python",

"request": "launch",

"program": "${file}",

"console": "integratedTerminal",

"justMyCode": false,

}

]

}

3. extension 설치

이렇게 하면 대부분 해결이 됩니다

리눅스에서 tar로 묶은 파일을 윈도우 파워쉘에서 압축 해제 시 한글 깨지는 문제 해결

빗자루검 — Thu, 22 Aug 2024 15:27:43 +0900

리눅스에서 tar로 묶은 파일을 Windows PowerShell에서 압축 해제할 때 한글 파일명이 깨지는 문제는 주로 인코딩 차이로 인해 발생합니다.

리눅스 시스템에서 tar로 파일을 묶을 때, 기본적으로 UTF-8 인코딩이 사용됩니다.

그러나 Windows에서는 기본적으로 CP949 (또는 EUC-KR) 인코딩을 사용하기 때문에, 인코딩 불일치로 인해 한글 파일명이 깨질 수 있습니다.

이것을 해결하려고 파워쉘에 다음 옵션을 주어도 해결되지 않았습니다.

$OutputEncoding = [System.Text.Encoding]::UTF8

제일 간단한 방법은 그냥 7-zip을 사용해서 tar를 풀면 인코딩 문제가 자동으로 해결됩니다.

7-Zip은 다양한 인코딩 옵션을 지원하며, 한글 파일명 문제를 해결하는 데 유용합니다!!

https://www.7-zip.org/

7-Zip

7-Zip 7-Zip is a file archiver with a high compression ratio. Download 7-Zip 24.08 (2024-08-11) for Windows x64 (64-bit): Link Type Windows Size Download .exe 64-bit x64 1.6 MB Download 7-Zip 24.08 for another Windows platforms (32-bit x86 or ARM64): Link

www.7-zip.org

다운로드 설치 후 설치위치가 시스템패스에 설정되어 있다면 다음과 같이 풀면 되고

7z x -o <출력경로> <압축파일.tar>

아니면 그냥 탐색기에서 클릭해서 풀어버려도 됩니다.

LLM 환각(Hallucination)에 대한 모델 평가(갈릴레오AI 벤치마크, 클로드, GPT, 큐원, 제미나이 등)

빗자루검 — Thu, 1 Aug 2024 14:09:23 +0900

LLM 평가 프레임 워크를 제공하는 갈릴레오 AI 에서 현존 최고 LLM들의 할루미네이션 평가를 진행해서 순위를 발표했습니다.

이 평가는 작년 11월에도 있었는데요. 그때는 Open AI의 Chat GPT 4가 휩쓸었었죠.

이번 평가에서는 순위가 뒤바뀐것들이 많았습니다.

벤치마크의 기준은 다음과 같습니다.

"새로운 지수는 22개의 주요 모델이 주어진 컨텍스트에 얼마나 잘 부합하는지를 평가하여 개발자가 가격과 성능의 균형을 맞출 때 정보에 입각한 결정을 내릴 수 있도록 지원합니다. 저희는 1,000~100,000개의 토큰을 입력한 상위 LLM을 대상으로 엄격한 테스트를 실시하여 짧은, 중간, 긴 컨텍스트 길이에서 얼마나 잘 작동하는지에 대한 질문에 답했습니다."

다음 3가지로 컨텍스트 길이가 다른 세 가지 시나리오로 시험을 진행했다고 합니다.

RAG 애플리케이션을 위한 인기 모델 종합 우승자 순위를 보겠습니다.

(1) 최고의 성능 모델로는 Claude 3.5 sunnet 선정

Sonnet은 짧은, 중간, 긴 컨텍스트 윈도우에서 각각 평균 0.97점, 1.0점, 1.0점을 기록하여 작업 전반에서 탁월한 성능을 발휘했을 뿐만 아니라 최대 20만 개의 컨텍스트 윈도우를 지원하는 모델은 테스트한 것보다 훨씬 큰 데이터 세트도 지원

(2) 가격 대비 최고의 성능 모델은 Gemini 1.5 Flash 선정

Gemini 1.5 플래시는 성능과 비용의 균형이 훌륭했습니다. 단기, 중기, 장기 컨텍스트 작업 유형에서 0.94점, 1.0점, 0.92점을 획득했습니다. 다른 모델만큼 강력하지는 않지만 Gemini는 훨씬 적은 비용으로 이를 달성했습니다. 백만 건당 프롬프트 토큰 비용은 플래시의 경우 0.35달러, 소네트의 경우 3달러였습니다. 더욱 극명하게도 백만 건당 응답 토큰 비용은 Flash가 1.05달러인 반면 Sonnet은 15달러였습니다. 대용량 애플리케이션 또는 어느 정도의 오차 범위가 허용되는 사용 사례의 경우, Flash는 훌륭한 선택입니다.

(3) 최고의 오픈소스 모델은 Qwen2-72B 선정

알리바바는 2024년 6월에 Qwen-2 모델 시리즈를 출시했습니다. Qwen2-72b-인스트럭트 모델은 단기 및 중간 컨텍스트 테스트에서 Meta의 Llama-3-70b-인스트럭트 모델과 동등한 성능을 보였습니다. Qwen2가 다른 오픈 소스 모델과 차별화되는 점은 128K 토큰의 컨텍스트 길이를 지원한다는 점입니다. 컨텍스트 길이를 지원하는 오픈 소스 모델 중 두 번째로 큰 모델은 64k 토큰의 컨텍스트 길이를 지원하는 미스트랄의 믹스트랄-8x22b 모델입니다.

테스트는 컨텍스트 크기에 따라 짧은 컨텍스트(5000 토큰 이하)와 중간 컨텍스트(5000~2만5000 토큰), 긴 컨텍스트(4만~10만 토큰) 3종으로 시험을 진행했습니다.

그외 시험에 사용된 모델들의 테스트 별 랭크를 보겠습니다.

Short Context RAG (SCR)

- 짧은 컨텍스트 RAG는 최대 5,000개의 토큰까지 컨텍스트를 이해하는 데 가장 효율적인 모델을 식별

- 문맥 내에서 정보나 추론 능력의 손실을 감지

- 이 방법은 책의 일부 페이지를 참조하는 것과 유사하며, 특히 도메인별 지식이 필요한 작업에 적합

Medium Context RAG (MCR)

- 5천 토큰에서 2만 5천 토큰에 이르는 긴 컨텍스트를 이해하는 데 가장 효과적인 모델

- 광범위한 컨텍스트 내에서 정보와 추론 능력의 손실을 파악하는 데 중점

- 짧은 문맥에서 효과가 있는 연쇄 메모라는 프롬프트 기법을 실험하여 성능을 개선하며 책 몇 장에서 RAG를 수행하는 것과 비슷

Long Context RAG (LCR)

- 4만 토큰에서 10만 토큰에 이르는 긴 컨텍스트를 이해하는 데 가장 효과적인 모델

결과적으로 Chat GPT-4o는 이번 벤치마크에서 1개도 우승을 차지 하지 못했네요.

곧 ChatGPT-5가 나오지 않을까요?

미스트랄 라지2 출시 개요 (Mistral Large 2, Llama 3.1 능가)

빗자루검 — Fri, 26 Jul 2024 14:28:25 +0900

메타의 라마 3.1 405B 모델 출시 하루만에 유럽 인공지능(AI) 스타트업 미스트랄 AI가 플래그십 대형언어모델(LLM) '라지(Large)'의 신규 버전을 공개해버렸습니다.

라지 2 모델은 1230억개(123B)의 매개변수로, 12만8000 토큰의 컨텍스트 창을 제공하지만 라마 3.1 중 가장 큰 모델(405B)에 비해 매개변수가 3분의 1도 안 되는 크기라고 합니다. (라고는 해도 무지하게 큰 모델입니다)

하지만 이미지를 이해하거나 입력할 수 있는 멀티모달 기능은 Llama 3.1 처럼 제공하지 않습니다.

어찌되었건 간에 초대형 모델들이 마구 쏟아져 나오는군요.

연구 및 비상업적 용도로 사용 및 수정할 수 있는 Mistral Research 라이선스이지만 자체 배포가 필요한 상업적 용도로 미스트랄 라지 2를 사용하려면 미스트랄에 문의하여 미스트랄 상업용 라이선스를 취득해애 한다고 합니다.

(1) 코드 및 추론 기능

Codestral 22B와 Codestral Mamba 대한 경험을 바탕으로 미스트랄 라지 2를 매우 많은 양의 코드로 학습시켰으며 GPT-4o, 클로드 3 오퍼스, 라마 3 405B와 같은 주요 모델과 동등한 성능을 발휘합니다.

결과를 보니 대부분 2위네요. 역시 GPT-4o는 대단하긴 합니다.

코드 생성 벤치마크 휴먼 이밸(HumanEval) 및 휴먼 이밸 플러스를 보니 라지 2는 'GPT-4o'에 이어 2위네요

클로드 3.5 소네트와 클로드 3 오퍼스, 라마 3.1은 넘어선 결과입니다.

(2) 다국어 지원

미스트랄 라지 2는 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 네덜란드어, 러시아어, 중국어, 일본어, 한국어, 아랍어, 힌디어에서 뛰어난 성능을 발휘한다고 발표했습니다.

아래는 이전 미스트랄 라지, 라마 3.1 모델 및 코히어의 커맨드 R+와 비교한 다국어 MMLU 벤치마크에서 미스트랄 라지 2의 성능 결과입니다.

Azure AI Studio, Amazon Bedrock, IBM watsonx.ai에 이어 Vertex AI에서도 Mistral AI의 베스트 모델을 사용할 수 있다고 합니다.

wget 명령어의 모든것(HTTP, HTTPS, FTP 지원, 복수파일, 폴더전체, 이어받기 등등)

빗자루검 — Wed, 24 Jul 2024 18:49:34 +0900

리눅스 wget은 웹에서 파일을 다운로드하는 데 사용되는 인기 있는 명령줄 도구입니다. wget은 네트워크 연결 상태와 상관없이 안정적으로 파일을 다운로드할 수 있으며, 다양한 프로토콜(HTTP, HTTPS, FTP)을 지원합니다.

1. 기본 다운로드

wget http://example.com/file.zip
이 명령은 http://example.com/file.zip 파일을 현재 디렉토리로 다운로드합니다.

2. 파일 이름 지정하여 다운로드

wget -O newfile.zip http://example.com/file.zip
다운로드한 파일의 이름을 newfile.zip으로 지정하여 저장합니다.

3. 백그라운드 다운로드

wget -b http://example.com/file.zip
파일을 백그라운드에서 다운로드합니다. 백그라운드 다운로드 로그는 wget-log 파일에 기록됩니다.

4. 재시도 횟수 지정

wget --tries=10 http://example.com/file.zip
다운로드 실패 시 최대 10번까지 재시도합니다.

5. 재개 가능한 다운로드

wget -c http://example.com/file.zip
이전에 중단된 다운로드를 이어서 실행합니다.

6. 복수 파일 다운로드

wget -i filelist.txt
filelist.txt 파일에 있는 모든 URL 리스트를 다운로드합니다.

*filelist.txt의 예:
http://example.com/file1.zip
http://example.com/file2.zip
http://example.com/file3.zip

7. 폴더 전체 다운로드

wget -r http://example.com/directory/
주어진 URL에서 시작하여 링크된 모든 파일과 폴더를 재귀적으로 다운로드합니다.

8. 대기 시간 추가

wget --wait=5 -r http://example.com/directory/
각 요청 사이에 5초의 대기 시간을 추가하여 서버에 과부하가 걸리지 않도록 합니다.

9. 사용자 에이전트 지정

wget --user-agent="Mozilla/5.0" http://example.com/file.zip
특정 사용자 에이전트를 사용하여 요청을 보냅니다. 일부 서버는 사용자 에이전트를 기반으로 요청을 차단하거나 허용할 수 있습니다.

10. 쿠키 사용

wget --load-cookies=cookies.txt http://example.com/file.zip
cookies.txt 파일에서 쿠키를 로드하여 요청을 보냅니다. 이는 로그인 세션이 필요한 웹사이트에서 유용할 수 있습니다.

11. HTTPS 인증서 검증 건너뛰기 (보안에 주의 필요)

wget --no-check-certificate https://example.com/file.zip
HTTPS 인증서 검증을 생략합니다. 이는 보안에 취약해질 수 있으므로 신뢰할 수 있는 경우에만 사용해야 합니다.

12. 웹 페이지의 모든 이미지를 다운로드

wget -r -l1 -A jpeg,jpg,bmp,gif,png http://example.com/
주어진 웹 페이지에서 모든 이미지를 다운로드합니다. (-r 옵션은 재귀적으로 다운로드, -l1은 재귀 깊이 1로 설정, -A는 허용할 파일 확장자를 지정)

13. FTP 사이트에서 파일 다운로드

wget ftp://example.com/file.zip
FTP 프로토콜을 사용하여 파일을 다운로드합니다.

14. 타임아웃 설정

wget --timeout=30 http://example.com/file.zip
연결과 읽기 시도에 대해 30초의 타임아웃을 설정합니다.

Llama 3.1 405B 개요 (메타, 최대 규모의 오픈소스 LLM 공개)

빗자루검 — Wed, 24 Jul 2024 12:08:11 +0900

메타에서 엄청난 규모의 오픈소스 LLM 모델을 발표했습니다.

(이걸 돌려 볼 수는 있는 환경을 갖춘 사람이 몇이나 될까... 싶지만)

메타 자료에 보면 다음과 같은 자부심이 있네요.

"지금까지 오픈 소스 대규모 언어 모델은 기능 및 성능 면에서 대부분 폐쇄형 언어 모델에 비해 뒤쳐져 있었습니다. 이제 오픈소스가 주도하는 새로운 시대가 열리고 있습니다. 세계 최대 규모이자 가장 뛰어난 성능을 자랑하는 오픈 소스 기반 모델인 Meta Llama 3.1 405B를 공개적으로 출시합니다"

Llama 3.1 최신 모델에는 컨텍스트 길이가 128K로 확장되고 8개 언어 지원이 추가되었으며, 최초의 프론티어급 오픈 소스 AI 모델인 Llama 3.1 405B가 포함되어 있습니다.

Llama 3.1 405B는 일반 지식, 조향성, 수학, 도구 사용, 다국어 번역 등 최첨단 기능에 있어 최고의 AI 모델에 필적하는 최초의 공개용 모델입니다.

16,000개 이상의 H100 GPU로 밀어붙여 405B를 이 규모로 훈련된 최초의 라마 모델이라고 하네요.

어마어마한 리소스를 투입했네요.

공개 첫날부터 AWS, NVIDIA, 데이터브릭스, Groq, Dell, Azure, Google Cloud, Snowflake 등 25개 이상의 파트너가 서비스를 제공할 예정이고 llama.meta.com과 Hugging Face에서 다운로드할 수 있도록 커뮤니티에 공개하고, 광범위한 파트너 플랫폼 에코시스템에서 즉시 개발할 수 있도록 준비 했다고 합니다.

1. 모델 평가

이번 릴리스에서는 다양한 언어에 걸친 150개 이상의 벤치마크 데이터 세트에서 성능을 평가했습니다. 또한 실제 시나리오에서 경쟁 모델과 Llama 3.1을 비교하는 광범위한 인적 평가를 수행했습니다.

주력 모델은 GPT-4, GPT-4o, Claude 3.5 Sonnet 등 다양한 작업에서 주요 기반 모델과 경쟁력이 있는 것으로 나타났습니다. 또한, 소규모 모델은 비슷한 수의 파라미터를 가진 폐쇄형 및 개방형 모델과도 경쟁력이 있다고 보입니다.

먼저 405B 모델의 결과를 보겠습니다.

다양한 파트에서 성능값이 앞서는 결과를 보여주고 있네요.

다음은 작은 파라메터를 갖는 모델들의 비교입니다.

이 모델은 거의 모든 파트에서 타사 상용 동급 모델들을 앞서고 있네요.

이런게 공짜라니...

다음은 모델간 코딩 능력 평가 입니다. GPT-4o에는 못미치네요.

Llama는 아시다시피 오픈 모델이기 때문에 그 자체로 의미가 큽니다.

메타가 아래와 같은 그들의 의지를 끝까지 지켜주길 기대합니다.

" 많은 사람들이 폐쇄형 모델이 더 비용 효율적이라고 주장할 수 있지만, 인공 분석의 테스트에 따르면 라마 모델은 업계에서 토큰당 비용이 가장 낮습니다. 또한, 마크 저커버그가 언급했듯이 오픈소스는 전 세계의 더 많은 사람들이 AI의 혜택과 기회에 접근할 수 있도록 하고, 소수의 사람들에게 권력이 집중되지 않으며, 사회 전반에 걸쳐 기술이 보다 균등하고 안전하게 배포될 수 있도록 보장할 것입니다. 이것이 바로 오픈 액세스 AI가 업계 표준이 될 수 있도록 계속해서 발걸음을 내딛는 이유입니다."

다음은 다운로드 사이트 입니다 .

https://llama.meta.com/

Llama 3.1

The open source AI model you can fine-tune, distill and deploy anywhere. Our latest models are available in 8B, 70B, and 405B variants.

llama.meta.com

https://github.com/meta-llama/llama-models

GitHub - meta-llama/llama-models: Utilities intended for use with Llama models.

Utilities intended for use with Llama models. Contribute to meta-llama/llama-models development by creating an account on GitHub.

github.com

https://huggingface.co/collections/meta-llama/llama-31-669fc079a0c406a149a5738f

Llama 3.1 - a meta-llama Collection

This collection hosts the transformers and original repos of the Meta Llama 3.1, Llama Guard 3 and Prompt Guard models

huggingface.co

Mistral NeMo, 미스트랄 온디바이스 AI 모델 개요

빗자루검 — Tue, 23 Jul 2024 11:13:07 +0900

미스트랄 사이트에 가보면 딱 이렇게 적어 놨습니다 .

미스트랄 NeMo: 새로운 최고의 소형 모델. 128k 컨텍스트 길이의 최신 12B 모델로, NVIDIA와 협력하여 제작되었으며 Apache 2.0 라이선스에 따라 출시되었습니다.

아파치 라이센스군요.

미스트랄은 유럽의 OpenAI라고 보시면 됩니다.

미스트랄-네모는 퍼블릭 클라우드가 아닌 Nvidia GPU가 있는 개인 데스크탑 환경에서도 고성능 AI를 사용할 수 있도록 설계 되었다고 합니다.

- 120억개의 매개변수와 12만8000토큰의 컨텍스트 창

- 글로벌 다국어 지원

다음 표는 미스트랄 NeMo 기본 모델과 최근 오픈소스 사전 학습된 두 가지 모델인 Gemma 2 9B 및 Llama 3 8B의 정확도를 비교한 것입니다.

벤치마크 결과 대부분의 작업에서 우수한 성능을 보여주고 있습니다.

다국어 지원을 위해서 신경써서 설계 했다는 이야기가 있네요 .

이 모델은 글로벌 다국어 애플리케이션을 위해 설계되었습니다. 함수 호출에 대해 학습되고 컨텍스트 창이 넓으며 특히 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 중국어, 일본어, 한국어, 아랍어, 힌디어에 강합니다. 이는 인류 문화를 형성하는 모든 언어로 모든 사람이 프론티어 AI 모델을 사용할 수 있도록 하기 위한 새로운 단계입니다.

Tekken 토큰화기에 대한 설명입니다.

미스트랄 NeMo는 100개 이상의 언어로 학습된 틱토큰 기반의 새로운 토큰화기인 텍켄을 사용하며, 이전 미스트랄 모델에 사용된 SentencePiece 토큰화기보다 자연어 텍스트와 소스 코드를 더 효율적으로 압축합니다.

특히 소스 코드, 중국어, 이탈리아어, 프랑스어, 독일어, 스페인어, 러시아어를 압축할 때 최대 30% 더 효율적입니다. 또한 한국어와 아랍어를 압축할 때 각각 2배, 3배 더 효율적입니다. Llama 3 토큰라이저와 비교했을 때, 전체 언어의 약 85%에서 텍스트를 압축하는 데 더 능숙하다는 것이 입증되었습니다.

아직 모바일을 지원하지 않는것이 좀 아쉽습니다.

하지만 뭐든 대용량 고성능만을 지향하는 요즘 AI 개발 풍토에서 의미있는 모델인것은 확실한것 같습니다.

좀 딸리더라도 Nvidia GPU 만 있으면 돌아간다고 하니까요. ^^

GPT-4o mini 개요 (API 비용 효율성 3.5 turbo의 1/10 가격)

빗자루검 — Mon, 22 Jul 2024 15:54:22 +0900

오픈AI가 새로운 언어모델 GPT-4o 미니(mini)'를 출시했습니다.

보유 중인 대형언어모델(LLM) 중 가장 크기가 작은 소형 모델이며 사용비용을 확 줄여서 개발자들의 부담을 덜어주겠다는 의도라고 합니다.

성능도 동급 모델중 가장 뛰어나다고 홍보하고 있습니다.

가격은 입력 토큰 100만 개당 15센트, 출력 토큰 100만 개당 60센트로, 이전 프론티어 모델보다 훨씬 저렴하고 GPT-3.5 터보보다 60% 이상 저렴하다고 합니다.

현재 GPT-4o mini는 API에서 텍스트와 비전을 지원하며, 향후 텍스트, 이미지, 비디오, 오디오 입력 및 출력에 대한 지원도 추가될 예정입니다. 이 모델은 128K 토큰의 컨텍스트 창을 가지고 있으며, 요청당 최대 16K 출력 토큰을 지원하고, 2023년 10월까지의 지식을 보유하고 있습니다.

GPT-4o와 공유되는 개선된 토큰화기 덕분에 이제 영어가 아닌 텍스트에서 불필요하게 늘어난 토큰을 처리해서 생기는 비용 낭비를 줄여줄 수 있습니다.

GPT-4o mini는 텍스트 지능과 다중 모드 추론 모두에서 GPT-3.5 Turbo 및 기타 소형 모델을 능가하며 GPT-4o와 동일한 범위의 언어를 지원합니다.

또한 개발자가 데이터를 가져오거나 외부 시스템으로 작업을 수행하는 애플리케이션을 구축할 수 있는 함수 호출에서 강력한 성능을 보여주며, GPT-3.5 터보에 비해 긴 컨텍스트 성능도 향상되었습니다.

다음은 벤치마크 결과 입니다.

모델은 추론 능력 측정 벤치마크인 MMLU에서 82%의 점수를 받으며 제미나이 1.5 플래시의 79%, 클로드 3 하이쿠의 75%를 능가한다고 합니다.

수학적 추론 능력에서는 MGSM에서는 87%로, 플래시 78%, 하이쿠 72%를 넘었고 코딩 성능을 측정하는 휴먼이밸에서도 87.2%로 플래시 71.5%, 하이쿠 75.9%를 제치고 1위를 차지했다고 합니다.

이전과 마찬가지로 혐오 발언, 성인 콘텐츠, 주로 개인 정보를 수집하는 사이트, 스팸 등 모델이 학습하거나 출력하지 않기를 원하는 정보를 필터링 합니다

GPT-4o mini는 API 사용시 명령 계층 구조 방식을 적용한 최초의 모델로, 탈옥, 프롬프트 주입, 시스템 프롬프트 추출에 대한 모델의 저항력을 향상시키며 이를 통해 모델의 응답이 더욱 안정적이고 대규모 애플리케이션에서 더 안전하게 사용할 수 있습니다.

사용 가격

GPT-4o mini는 Assistants API, Chat Completions API, Batch API 에서 텍스트 및 비전 모델로 사용할 수 있습니다.

개발자는 1M 입력 토큰당 15센트, 1M 출력 토큰당 60센트(표준 책의 약 2500페이지에 해당)를 지불하도록 책정되었습니다.

gpt3.5-tubo 모델을 사용할때(1M당 2달러)의 거의 1/10 로 가격을 낮게 책정한 셈이네요.

속초 중앙시장(속초관광수산시장) 둘러보기(맛집, 주차정보)

빗자루검 — Tue, 16 Jul 2024 17:45:08 +0900

예전에는 속초 여행하면 속초해수욕장, 대포항, 물치항, 낙산해수욕장 등등 에서만 시간을 보냈었는데요.

요즘은 오징어난전이나 속초중앙시장에도 많은 사람들이 몰려갑니다.

물론 맛있는 음식과 볼거리가 많이 때문이죠~

저도 이번에 한번 들러봤습니다.

깔끔하게 정비되어 참 좋더군요.

속초 중앙재래시장과 속초관광수산시장은 연결되어있습니다.

굳이 구분하지 않고 둘러보시면 됩니다.

1. 속초 중앙시장(속초관광수산시장) 위치 및 주차 정보

고속터미널에서도 멀지 않은 위치에 있더군요.

위치는 다음과 같습니다.

https://naver.me/52lhcCfx

속초관광수산시장 : 네이버

방문자리뷰 714 · 블로그리뷰 13,545

m.place.naver.com

위에 파란색으로 표시한 곳이 주차장입니다. 초대형으로 새로 지어져서 꽤 많은 차량을 커버할 수 있습니다.

주차장 진입 안내 표지도 큼지막 하게 있어서 찾기 쉬워요~

2. 시장 둘러보기

주차장에서 나오면 귀여운 건물도 있고 건너에 시장 입구가 보입니다.

주말이라 사람이 벌써 많아지는군요.

안으로 걸어들어 가보겠습니다.

요즘은 시장도 잘 정리되어 있어서 참 좋네요.

골목하나를 지나니 갑자기 롯데시네마 !! ㅋㅋ

그 유명한 만석닭강정도 보이네요. 근데 닭강정 가게 진짜 많던데..

그냥 쌓아놓고 순서대로 집어가는 군요. 다 식었을듯..뭐 원래 식혀서 먹는거라는 썰도 있고 하니..

오징어순대, 오징어누룽지 순대 집도 엄청 많네요.

하나 먹어봐야지. 음.. 맛은 있습니다. 하지만 예상 가능한 그맛. ^^

술빵집도 많습니다

유명한 집인지 줄이 엄청 기네요

저는 바깥쪽에 있는데서 사먹었는데 술빵도 맛있었어요. @@

요기도 유명한 코끼리분식!! 거의 공장이네 공장 ㅋ

시골 도너스 맛. ㅋ 맛있습니다.

지하에는 회센터가 있습니다.

정말 먹거리 볼거리가 많네요..

한두시간 둘러보는데 사람이 점점 많아져서 미어터지기 직전에 빠져 나왔습니다.

아참 물건사거나 식사하면 주차권도 줍니다. 30분짜리였나..?

암튼 한번 방문해보세요. 여행기분나고 좋습니다 ^^

ffmpeg 송출 에러 av_interleaved_write_frame(): Broken pipe 해결

빗자루검 — Fri, 12 Jul 2024 15:57:55 +0900

ffmpeg으로 스트림을 송출할 때 전송 중 av_interleaved_write_frame(): Broken pipe 에러가 발생 할 수 있습니다.

저같은 경우는 rtsp 송출을 시험하면서 frame rate를 30에서 5 fps로 줄였더니 발생하더군요.

물론 여러가지 케이스가 있을 수 있겠지만 대부분은 버퍼 조정과 지연 조정으로 해결이 됩니다.

다음 기본 옵션에서는 정상 이었으나

ffmpeg -stream_loop -1 -re -i "data/test.ts" -c:v libx264 -c:a aac -f rtsp rtsp://localhost:8554/test_stream

다음과 같이 5fps로 프레임 레이트를 조절 한후 에러가 발생 했습니다.

ffmpeg -stream_loop -1 -re -i "data/test.ts" -c:v libx264 -c:a aac -r 5 -f rtsp rtsp://localhost:8554/test_stream

몇가지 옵션을 추가 해보겠습니다. 저는 좋다는 건 일단은 다 때려 넣었지만 조절이 필요할 수도 있습니다.

(1) -max_interleave_delta 옵션

-max_interleave_delta 0 옵션은 FFmpeg가 패킷을 더 잘 정렬할 수 있도록 도와줍니다.

(2) -rtsp_transport tcp 옵션

-rtsp_transport tcp 옵션을 사용하여 TCP를 통해 스트림을 전송하면 안정성을 높일 수 있습니다.

(3) FFmpeg 버퍼 설정 조정

버퍼 설정을 조정하여 스트림 송출의 안정성을 높일 수 있습니다. -bufsize와 -b:v 옵션을 사용하여 비디오 버퍼 크기를 설정합니다.

이 값은 비트레이트에 영향을 주기 때문에 인코딩 화질에 직접 관여합니다.

(4) 기타 설정

-flags +low_delay: 낮은 지연을 설정합니다.
-rtsp_flags listen: 서버 모드에서 RTSP를 실행합니다.
-tune zerolatency: 인코딩 지연을 최소화합니다.

이렇게 완성된 명령어는 다음과 같습니다.

ffmpeg -stream_loop -1 -re -i "data/test.ts" -c:v libx264 -c:a aac -r 5 -bufsize 1024k -b:v 2000k -f rtsp -rtsp_transport tcp -max_interleave_delta 0 -flags +low_delay -tune zerolatency rtsp://localhost:8554/test_stream

이제 에러가 사라졌군요.

정상적으로 5fps로 송출이 됩니다.

ffmpeg으로 rtsp 송출하기(RTSPSimpleServer, mediamtx)

빗자루검 — Fri, 12 Jul 2024 15:00:20 +0900

ffmpeg으로 시험환경을 구성하면서 udp 송출은 간단하게 구현이 되기 때문에 rtsp도 똑 같이 실행해보려고 했습니다.

아래는 udp 송출 예시 입니다.

https://yongeekd01.tistory.com/164

ffmpeg으로 nvidia gpu로 영상 인코딩 하면서 multicast 송출하기(멀티 GPU사용, hwaccel, cuda)

ffmpeg으로 동영상을 송출하기에 이어서 NVIDIA 멀티 GPU를 이용하여 인코딩을 추가하여 고속으로 송출하는 방법을 알아보겠습니다. https://yongeekd01.tistory.com/163 다양한 포맷의 동영상 파일을 mpegts, ud

yongeekd01.tistory.com

비슷한 방법으로 아래와 같이 명령어를 주고 수행을 했더니 에러가 발생합니다.

ffmpeg -stream_loop -1 -re -i "data/test.ts" -c:v copy -c:a copy -f rtsp rtsp://localhost:8554/test_stream

Connection to tcp://localhost:8554?timeout=0 failed: Connection refused
Could not write header for output file #0 (incorrect codec parameters ?): Connection refused

ffmpeg으로 rtsp를 송출하는데 있어서는 ffmpeg 자체 기능만 가지고는 안되고 rtsp 서버가 필요합니다.

1. RTSPSimpleServer

RTSPSimpleServer는 RTSP (Real-Time Streaming Protocol) 서버 소프트웨어로, RTSP 스트림을 간단하게 설정하고 관리할 수 있도록 설계된 도구입니다. 이 서버는 주로 실시간 비디오 및 오디오 스트리밍 애플리케이션에서 사용됩니다.

* 주요 특징

(1) RTSPSimpleServer는 매우 간단하게 설치하고 설정할 수 있습니다.

기본 설정 파일을 제공하며, 복잡한 설정 없이 바로 사용할 수 있습니다.

(2) 다양한 포맷의 비디오 및 오디오 스트림을 지원하여 RTSP 클라이언트와의 호환성이 뛰어나며, 여러 스트림을 동시에 처리할 수 있습니다.

(3) 시스템 리소스를 적게 사용하여 효율적으로 동작합니다. 이는 고성능 스트리밍 서버가 필요한 경우에도 적합합니다.

(4) GitHub에서 소스 코드를 제공하며, 커뮤니티의 기여와 피드백을 통해 지속적으로 개선되고 있습니다.

https://github.com/bluenviron/mediamtx

GitHub - bluenviron/mediamtx: Ready-to-use SRT / WebRTC / RTSP / RTMP / LL-HLS media server and media proxy that allows to read,

Ready-to-use SRT / WebRTC / RTSP / RTMP / LL-HLS media server and media proxy that allows to read, publish, proxy, record and playback video and audio streams. - bluenviron/mediamtx

github.com

2. RTSPSimplerServer 설치 및 실행

다음 페이지에서 다운로드 버전을 확인합니다.

https://github.com/bluenviron/mediamtx/releases

Releases · bluenviron/mediamtx

Ready-to-use SRT / WebRTC / RTSP / RTMP / LL-HLS media server and media proxy that allows to read, publish, proxy, record and playback video and audio streams. - bluenviron/mediamtx

github.com

저는 아래 버전을 사용했습니다.

mediamtx_v1.8.4_linux_amd64.tar.gz

파일을 다운로드 받고 압축을 풀어주세요

wget https://github.com/bluenviron/mediamtx/releases/download/v1.8.4/mediamtx_v1.8.4_linux_amd64.tar.gz

tar xvzf mediamtx_v1.8.4_linux_amd64.tar.gz

서버를 실행합니다.

./mediamtx

3. ffmpeg 으로 rtsp 스트리밍 하기

다시 명령어를 수행해 보겠습니다.

ffmpeg -stream_loop -1 -re -i "data/test.ts" -c:v copy -c:a copy -f rtsp rtsp://localhost:8554/test_stream

어? 에러가 나는군요

Could not write header for output file #0 (incorrect codec parameters ?): Server returned 400 Bad Request

서버쪽에서 찍힌 에러를 보니 SDP 파일에 문제가 있다고 나옵니다.

2024/07/12 14:49:19 INF [RTSP] [conn 127.0.0.1:48808] closed: invalid SDP: media 2 is invalid: clock rate not found
2024/07/12 14:49:19 INF [RTSP] [session 85894030] destroyed: not in use

ffmpeg에서 SDP 오류는 코덱을 명시적으로 지정하지 않는 경우에 발생할 수 있습니다.

비디오 오디오 코덱을 지정하고 다시 실행해 보겠습니다.

ffmpeg -stream_loop -1 -re -i "data/test.ts" -c:v libx264 -c:a aac -f rtsp rtsp://localhost:8554/test_stream

정상적으로 실행이 되었습니다.

4. 클라이언트에서 확인하기

vlc 로 접속 해서 확인해 볼까요?? 네트워크 스트림 열기로 ffmpeg 을 실행한 주소를 접속합니다. rtsp://192.168.10.219:8554/test_stream

정상 적으로 rtsp 스트림이 송출되고 있는 것을 확인할 수 있습니다.

다음은 참고

https://yongeekd01.tistory.com/199

vlc를 이용해서 동영상 파일을 rtsp 스트림으로 전송하기

개발하면서 테스트 하다보면 스트림을 가상으로 생성해서 수신해야 하는 경우가 있습니다. 여기서는 많이 사용하는 vlc 를 이용하여 rtsp 스트림을 전송해보고 다른 app에서 수신해보겠습니다.

yongeekd01.tistory.com

vlc를 이용해서 동영상 파일을 rtsp 스트림으로 전송하기

빗자루검 — Thu, 11 Jul 2024 17:13:14 +0900

개발하면서 테스트 하다보면 스트림을 가상으로 생성해서 수신해야 하는 경우가 있습니다.

여기서는 많이 사용하는 vlc 를 이용하여 rtsp 스트림을 전송해보고 다른 app에서 수신해보겠습니다.

1. 네트워크 스트림 열기

미디어 > 스트림하기 선택

스트림할 대상 파일 추가 하기

스트림 드롭다운에서 스트림 선택

스트림 출력을 rtsp로 선택

추가하기를 눌러서 rstp 주소를 생성합니다.

이 주소로 다른 장치나 app에서 access 가능 합니다.

트랜스코딩은 코덱 변경등이 필요할때는 해도 좋고 원본 대로 내보내도 상관 없습니다.

이제 스트림 버튼 누릅니다.

프로그래스 바로 재생이 시작되는 것을 볼수 있습니다. 재생 중 화면이 보이지는 않습니다.

반복 재생 하고 싶으면 아래 루프 버튼을 눌러주세요.

2. 스트림 수신 재생 해보기

이제 vlc를 하나 더 띄워서 이 rtsp 스트림을 수신해서 재생해 보겠습니다.

rtsp 스트림을 하고 있는 PC의 IP를 넣고 위에 입력한 포트와 하위 폴더명을 주시고 재생하세요.

재생이 잘 되네요

속초항 오징어난전 둘러보기(오징어회,무침 등등)

빗자루검 — Wed, 10 Jul 2024 18:42:24 +0900

이야기는 많이 들었었는데

이번에 낙산에 다녀오는 길에 속초항 옆에 있는 오징어 난전에 들러 보았습니다.

일단 비주얼이 사람 마음을 쏘옥 잡아 끌어서

오징어 한두마리 뽀개지 않고는 지나갈 수가 없더군요

낮에도 사람이 상당히 많습니다.

1. 속초 오징어 난전 위치

속초항을 따라서 쭈욱 여러개의 가게가 연결되어 시장을 형성하고 있습니다.

가게 앞에도 뒤에도 주차장이 있어서 차를 세우기는 어렵지 않았습니다.

https://naver.me/Gaz49gSb

오징어난전 14호 거성호 : 네이버

방문자리뷰 130 · 블로그리뷰 34

m.place.naver.com

2. 오징어 난전 외관 보기

여러개의 가게가 쭉 늘어서 있는데 호객 행위가 많지는 않았습니다.

나중에 보니 어느 한 가게에서 밖으로 나와서 호객을 하는지 감시하는 아저씨가 있더라고요

아마도 나름의 상도덕 규칙이 있나봅니다.

3. 내부 둘러보기

사실 가게는 어디를 들어가도 메뉴와 구조가 비슷비슷 합니다.

아마 맛도 비슷비슷 하지 않을까???

가게를 고르는데 별로 고민 하지 않아도 될듯..

4. 맛보기

자 오징어 회 한번 조져 봅시다.

제가 갔을때는 2마리에 3만5천원 이었는데.. 가격은 계속 싯가로 조정된다고 합니다.

오징어 회를 먹을때 채썰기만 먹어봤는데 여기는 포뜨기도 해주는 군요.

맛 좋네요 ^^

쏘주 없이 먹는 오징어는 좀 슬프지만. 어쩔 수 없이 ㅜㅜ

한번 방문해보세요

강릉 초당골짬뽕순두부 속초점 둘러보기(양양, 속초, 얼큰 해장용 ^^)

빗자루검 — Wed, 10 Jul 2024 18:28:31 +0900

낙산 해수욕장에서 신나게 놀고 돌아오는 아침!!

뭐 해장할게 좋은게 있을까 찾다가 발견한 곳입니다.

속초 시내에 있는 초당골 짬뽕순두부!!!

시원하고 얼큰한 국물이 일품입니다. 사람들이 많아서 좀 기다릴 수도 있습니다.

1. 초당골 짬봉 순두부 속초점 위치

낙산에서 15분거리, 속초 시내에 있습니다.

https://naver.me/5s343oZk

강릉초당골짬뽕순두부 속초점 : 네이버

방문자리뷰 646 · 블로그리뷰 60

m.place.naver.com

2. 외관 둘러보기

겉 보기엔 그냥그냥..

하지만 맛은 최고!!

2. 내부 둘러보기

깔끔합니다. 테이블에는 1회용 비닐이 겹겹이 있네요. 식사 후 싹걷어내고 끝.

1회 제공후 반찬은 셀프로 계속 가져다 먹어도 됩니다. 공기밥도 무제한 !!

3. 맛보기

저는 이집의 메인 메뉴. 해물짬뽕순두부를 시켰습니다.

우아 보기만해도 어제 먹은 소주가 내려가는 것 같습니다.

해물이 많이 들어있고 개운하면서 얼큰한 맛이 일품 입니다.

양양 여행 후 아침 해장거리를 찾으신다면 여기를 추천합니다 ^^

춘천 1.5 닭갈비 본점 둘러보기(닭내장도 굿!, 주차정보)

빗자루검 — Wed, 10 Jul 2024 18:09:57 +0900

양양에서 서울로 오는길에 식사 시간도 되었고해서 6시경에 춘천으로 잠깐 들러 닭갈비를 먹으러 갔습니다.

아시는분은 이미 잘 아시는 바로 그 1.5 닭갈비 입니다.

여기는 닭갈비도 맛있지만 식감 좋은 닭내장도 볶아 먹을 수 있어 더욱 좋아요~

비가오는 일요일이었지만 현지분들 포함해서 바글바글 합니다.

30분 이상 웨이팅한것 같습니다.

1. 춘전 1.5 닭갈비 위치 (주차정보)

위치는 강원도 춘천시 후만로 77 / 후평3동 인공폭포 맞은편 입니다.

https://naver.me/5Tv3Oe0J

1.5닭갈비 본점 : 네이버

방문자리뷰 3,326 · 블로그리뷰 1,476

m.place.naver.com

주차 정보!!

주말에는 바로 5분거리에 있는 후평3동 행정복지센터에 주차하시면 됩니다.

주차면이 20개 정도 있는 것 같아요. 엄청 넓지는 않지만 들고나는 차가 많아서 세우기가 어렵지는 않습니다.

2. 1.5 닭갈비 외관 둘러보기

오늘도 역시 사람이 바글바글 합니다 .

노란색 간판에 딱!!

가게에서 대기 번호표를 받아서 가게 오른쪽 골목 안쪽으로 가면

대기석이 있습니다. 많은 사람들이 웨이팅을 하고 있네요.

주인 아저씨가 자리가 빌때마다 나와서 번호를 부릅니다

밖에서 안을 기웃 기웃 ... ^^ 부럽다. 빨리 들어가고 싶다..

드디어!! 차례가 되어서 입장을 합니다.

3. 가게 내부 둘러보기

좌식 테이블과 의자 테이블이 여럿 있어서 복작복작 합니다.

현지 분들도 가족단위로 많이 찾으시는 것 같네요.

4. 맛보기 !!

저는 닭내장 2개와 닭갈비 1개, 우동사리를 시켰습니다.

닭내장의 오독오독함이 좋더라고요.

일하시는 분들이 직접 조리해 주십니다.

빨리 익어라 좀!!!

짜짠 완성~~~ 역시 일부러 찾아올만 합니다.

아주 맛있네요. 운전 때문에 술을 못먹고 콜라에 먹는게 한이지만 쩝!!!

근처를 지나실때 꼭 한번 들러보세요.,

이름 값을 합니다. ^^

google Gemma 2 개요 및 간단 테스트

빗자루검 — Mon, 1 Jul 2024 11:01:29 +0900

1. 개요

LLM 시장에서 뒤쳐진 채로 열심히 뒤따라가고 있는 구글이 또 제미나이를 기반으로 하는 또 하나의 모델을 버전업 해서 출시했습니다.

항상 그렇지만 이번엔 정말 좋아요... 라는 멘트와 함께

발표자료를 보면 다음과 같네요.

효율성과 성능을 위한 새로운 개방형 모델 표준

* 특대형 성능

27B에서 Gemma 2는 해당 크기 클래스에서 최고의 성능을 제공하며, 심지어 크기가 두 배 이상인 모델에 대한 경쟁력 있는 대안을 제공합니다. 9B Gemma 2 모델도 클래스 최고의 성능을 제공하며, 크기 범주에서 Llama 3 8B 및 기타 개방형 모델을 능가합니다.

* 탁월한 효율성 및 비용 절감

27B Gemma 2 모델은 단일 Google Cloud TPU 호스트, NVIDIA A100 80GB Tensor Core GPU 또는 NVIDIA H100 Tensor Core GPU 에서 최대 정밀도로 효율적으로 추론을 실행하도록 설계되어 고성능을 유지하면서 비용을 크게 절감합니다. 이를 통해 보다 접근하기 쉽고 예산 친화적인 AI 배포가 가능해집니다.

* 하드웨어 전반에 걸쳐 놀랍도록 빠른 추론

Gemma 2는 강력한 게임용 노트북과 고급 데스크탑부터 클라우드 기반 설정까지 다양한 하드웨어에서 놀라운 속도로 실행되도록 최적화되었습니다. Google AI Studio 에서 테스트 가능합니다.

* 개방적이고 접근성이 뛰어남

원래 Gemma 모델과 마찬가지로 Gemma 2는 상업적으로 친화적인 Gemma 라이선스 에 따라 제공 되므로 개발자와 연구자는 혁신을 공유하고 상용화할 수 있습니다 (Apache License Version 2.0)

* 광범위한 프레임워크 호환성

기본 Keras 3.0, vLLM, Gemma.cpp , Llama.cpp 및 Ollama를 통해 Hugging Face Transformers, JAX, PyTorch 및 TensorFlow 와 같은 주요 AI 프레임워크와의 호환성 덕분에 선호하는 도구 및 워크플로에서 Gemma 2를 쉽게 사용할 수 있습니다 .

2. Google AI Studio 에서 간단한 테스트 진행

오픈소스에서 항상 한글은 그다지 성능이 좋지 않았었죠.

한번 해보겠습니다.

허깅페이스에서도 테스트 해보실 수 있습니다.

https://huggingface.co/google/gemma-2-9b

google/gemma-2-9b · Hugging Face

This repository is publicly accessible, but you have to accept the conditions to access its files and content. To access Gemma on Hugging Face, you’re required to review and agree to Google’s usage license. To do this, please ensure you’re logged in

huggingface.co

"한국의 고대사를 간단히 분석하고 고조선에서 고구려로 넘어가는 역사적 배경에 대해 설명해봐"

gemma 2의 대답입니다.

“

한국 고대사: 고조선에서 고구려로

한국의 고대사는 긴 시간 동안 다양한 왕국들이 융성하고 쇠퇴하며 역사를 써내려왔습니다. 그 중에서도 고조선에서 고구려로 이어지는 과정은 한국 역사의 중요한 전환점을 보여줍니다.

1. 고조선 (기원전 2333년 ~ 기원전 108년):

설립: 단군왕검에 의해 건국되었다는 전설이 전해집니다.

특징: 농경 사회를 기반으로 발달했으며, 철기 제조 기술을 보유하고 있었습니다.

쇠퇴: 중국 한나라의 침략으로 멸망했습니다.

2. 고구려 (기원전 37년 ~ 668년):

설립: 주몽이 건국했습니다. 고조선 멸망 후, 북부 지역에 새로운 왕국을 세웠습니다.

특징: 강력한 군사력을 바탕으로 고구려는 한반도 북부와 만주 지역을 지배했습니다.

문화: 고구려는 독자적인 문화를 발전시켰으며, 특히 벽화와 무덤 건축이 뛰어났습니다.

고조선에서 고구려로의 역사적 배경:

한나라의 침략: 고조선은 한나라의 침략으로 멸망했습니다. 이는 한반도에 새로운 정치 질서를 가져왔습니다.

주몽의 등장: 고조선 멸망 후, 주몽은 고구려를 건국하여 새로운 왕조를 열었습니다.

북방의 위협: 고구려는 북방 유목민족의 침략으로부터 한반도를 보호해야 했습니다. 이는 고구려의 강력한 군사력 형성으로 이어졌습니다.

결론:

고조선은 한국 역사의 시작을 알리는 중요한 왕국이었지만, 한나라의 침략으로 멸망했습니다. 그 후, 주몽이 고구려를 건국하여 한반도 북부를 지배하며 새로운 역사를 써내려갔습니다. 고구려는 강력한 군사력과 독자적인 문화를 발전시켜 한국 역사에 큰 영향을 미쳤습니다.

아래는 GPT-4o의 답입니다. 디테일은 역시 GTP-4o가 더 좋긴 합니다.

”

고대 한국의 역사를 간단히 살펴보고 고조선에서 고구려로 넘어가는 역사적 배경에 대해 설명해드리겠습니다.

고조선

기원: 고조선은 기원전 2333년에 단군왕검에 의해 건국되었다고 전해집니다. 이는 한국의 초기 국가로 여겨집니다.

문화와 사회: 고조선은 초기 청동기 문화를 바탕으로 발전했으며, 농업 중심의 생활과 함께 제사 문화도 발달했습니다.

법률: 고조선에는 8조법이라는 법률이 있었는데, 이 법률은 사회 질서를 유지하는 데 중요한 역할을 했습니다.

고조선의 멸망

위만 조선: 기원전 194년에 위만이라는 인물이 고조선의 준왕을 몰아내고 왕위에 올랐습니다. 이를 위만 조선이라 부릅니다.

한나라와의 갈등: 위만 조선의 대외 확장은 중국의 한나라와 충돌을 일으켰고, 기원전 108년 한무제의 공격을 받아 멸망하게 됩니다.

고구려의 건국

주몽의 등장: 고조선 멸망 후 여러 부족 국가들이 생겨났고, 그 중 주몽이 기원전 37년에 고구려를 건국하였습니다.

위치: 고구려는 현재의 중국 동북부와 한반도 북부 지역에 걸쳐 있었으며, 매우 전략적으로 중요한 위치였습니다.

성장과 발전: 주몽 이후 고구려는 강력한 군사력을 바탕으로 주변 국가들과의 전쟁에서 승리하며 영토를 확장해 나갔습니다.

역사적 배경

문화적 계승: 고조선의 문화와 전통은 고구려에 큰 영향을 미쳤습니다. 초기 고구려 문화는 많은 부분에서 고조선의 연장선에 있었습니다.

정치적 혼란: 고조선의 멸망과 함께 중국의 한나라 등 외부 세력의 영향력이 강해졌습니다. 이러한 혼란 속에서 고구려 같은 새로운 세력이 떠오르게 되었습니다.

지역적 통합: 고구려는 소수 부족을 통합하고 중앙 집권적 국가 체제를 구축하면서 강력한 국가로 성장하였습니다.

결론

고조선에서 고구려로 넘어가는 과정은 단순한 정치적 변혁뿐 아니라 문화와 사회의 깊은 연관성이 있는 연속성의 과정이었습니다. 이러한 역사적 배경을 이해하면 한국 고대사의 흐름을 더 잘 파악할 수 있습니다.

아래는 google gemini api를 이용한 간단한 구현 시험 코드입니다. 참고하세요.

https://yongeekd01.tistory.com/179

google gemini API 이용 개발 기초(제미나이 소개, API 사용준비, 모델들, gemini-pro, gemini-pro-vision)

1. Google gemini 소개 1.1 Gemini 개요 제미나이는 구글 AI에서 개발한 멀티모달 기반 대규모 언어 모델입니다. 텍스트, 이미지, 오디오, 동영상, 코드 등 다양한 형태의 정보를 이해하고 처리할 수 있는

yongeekd01.tistory.com

https://yongeekd01.tistory.com/180

google gemini API text 모델을 이용한 개발 기초(제미나이, gemini-pro)

여기서는 google gemini API를 이용하여 Text 모델을 구동 시켜 보는 예제를 살펴 보겠습니다. API 사용에 대한 기초는 다음을 참고. https://yongeekd01.tistory.com/179 google gemini API 이용 개발 기초(제미나이 소

yongeekd01.tistory.com

https://yongeekd01.tistory.com/181

google gemini API vision 모델을 이용한 이미지 해석 기초(제미나이, gemini-pro-vision)

여기서는 google gemini API를 이용하여 vision 모델을 구동 시켜 보는 예제를 살펴 보겠습니다. API 사용에 대한 기초는 다음을 참고. https://yongeekd01.tistory.com/179 google gemini API 이용 개발 기초(제미나

yongeekd01.tistory.com

ChatGPT API로 구현할때 토큰 수 제한 문제 해결하기(문자열 token 수 세기, tiktoken)

빗자루검 — Wed, 19 Jun 2024 11:00:40 +0900

이전에 chatGPT를 API를 이용해서 Discord bot 을 구현 했습니다.

아래 참조

https://yongeekd01.tistory.com/193

chatGPT를 discord bot으로 만들어보자(초간단, 대화기억, chatGPT-4o)

1. discord 서버 생성하기 우선 discord bot이 일을 하기 위한 서버환경을 만들어 줘야 합니다. 하나 생성해볼까요? discord를 실행하고 좌측의 + 버튼을 눌러서 서버를 생성합니다. 서버의 이름

yongeekd01.tistory.com

생각해보니 채팅을 무한히 반복하면 토큰수가 초과되어 세션에 문제가 생기는걸 깜빡 했습니다.

그부분을 해결해 보겠습니다.

대화를 계속 누적해서 보내다 보니 생길 수 밖에 없는 문제겠네요.

openai에서 제공하는 tiktoken을 이용해서 해결해 보겠습니다.

tiktoken은 OpenAI에서 제공하는 토큰화 패키지로, 텍스트를 모델에서 처리할 수 있는 토큰 형태로 변환하는 데 사용됩니다.
텍스트를 모델 입력으로 제공하기 전에 해당 텍스트를 모델이 이해할 수 있는 형식으로 변환하는 과정이라고 볼수 있습니다.

1. tiktoken을 사용해서 토큰 수 계산

먼저 tiktoken을 설치 합니다.

pip3 install tiktoken

단순히 문자열을 토큰으로 변환 했을때 토큰 수만 세보려면 다음과 같이 하면 됩니다.

import tiktoken

# 원하는 롬과 코덱을 선택 (여기서는 기본 gpt-4 코덱을 사용)

encoding = tiktoken.encoding_for_model("gpt-4")

# 텍스트를 토큰으로 변환

text = "너는 프로그래머야. 질문의 대답 찾기 위한 파이썬 코딩을 하고 그 코드에 대해서 자세히 설명해줘"

tokens = encoding.encode(text)

print(f"Tokens:", tokens, f" {len(tokens)}")

# 토큰을 다시 텍스트로 변환

original_text = encoding.decode(tokens)

print("Original Text:", original_text)

2. 코드 수정하기

API 사용시 돈문제도 있으니까 ^^ 4K 정도의 90%가 차면 문자열을 누적하는 리스트를 초기화 하는 부분을 추가하도록 하겠습니다.

import discord

import os

from openai import OpenAI

import tiktoken

discord_bot_token = os.environ.get('DISCORD_BOT_TOKEN')

openai_api_key = os.environ.get('OPENAI_API_KEY')

channel_id = '자신의 채널 아이디' #채널에 오른쪽 버튼 누르면 보입니다.

#history_messages = [{"role": "system", "content": "너는 똑똑한 helper"}]

class MyClient(discord.Client):

tokens = 0 #토큰 수 누적 변수

history_messages = [{"role": "system", "content": "너는 똑똑한 helper"}]

async def on_ready(self):

print(f'Logged on as {self.user}!')

channel = client.get_channel(int(channel_id))

await channel.send("난똑똑해! 무엇이든 물어봐~~")

async def on_message(self, message):

if message.author == client.user:

#봇자신이 보낸건 처리하지 않기

print(f'Message from me {message.author}: {message.content}')

return

print(f"current tokens = {self.tokens}")

#system role 빼고 대충 4K, 90%정도 되면 지우기

if self.tokens > int(4096 * 0.9) :

print(f"tokens limit! clear list {self.tokens}")

self.history_messages = self.history_messages[:1] # 첫 번째 system role 항목만 남기고 나머지 삭제

self.tokens = 0

#이전 대화에 현재 질문 추가하기

self.history_messages.append({"role": "user", "content": f"{message.content}"})

self.tokens += len(encoding.encode(message.content)) #토큰 수 갱신

completion = chatClient.chat.completions.create(

model="gpt-4o",

messages = self.history_messages

)

#chatgpt응답을 assistant role로 다시 전달하기 위해 저장

response = {"role": "assistant", "content": f"{completion.choices[0].message.content}"}

self.history_messages.append(response)

self.tokens += len(encoding.encode(completion.choices[0].message.content)) #토큰 수 갱신

#실제 질문 답변

answer = completion.choices[0].message.content

#print(response)

print(answer)

await message.channel.send(answer)

chatClient = OpenAI()

encoding = tiktoken.encoding_for_model("gpt-4") # 원하는 코덱을 선택 (여기서는 기본 gpt-4 코덱을 사용)

intents = discord.Intents.default()

intents.message_content = True

client = MyClient(intents=intents)

client.run(discord_bot_token)

자 이제 토큰 제한을 어느정도는 해결 할 수 있겠네요

chatGPT를 discord bot으로 만들어보자(초간단, 대화기억, chatGPT-4o)

빗자루검 — Tue, 18 Jun 2024 17:45:12 +0900

1. discord 서버 생성하기

우선 discord bot이 일을 하기 위한 서버환경을 만들어 줘야 합니다. 하나 생성해볼까요?

discord를 실행하고 좌측의 + 버튼을 눌러서 서버를 생성합니다.

서버의 이름을 지정하고 서버 이미지도 간단하게 넣어줍니다.

이후 만들기 버튼을 누르면 왼쪽 서버목록에 추가된 것을 볼 수 있습니다.

초대한 사람만 사용할 수 있도록 채널권한을 비공개로 변경해 줍니다.

2. Bot 생성하기

다음 url로 접속해서 application을 생성합니다.

https://discord.com/developers/applications

Discord Developer Portal — API Docs for Bots and Developers

Integrate your service with Discord — whether it's a bot or a game or whatever your wildest imagination can come up with.

discord.com

오른쪽 상단의 New Application 버튼을 클릭합니다.

정상적으로 생성되면 다음과 같은 화면이 표시됩니다.

이제 왼쪽의 Bot을 선택합니다.

개인용으로 제한하여 사용할 것이기 때문에 PUBLIC BOT은 off하고 나머지는 열어주었습니다. 이부분의 상세한 역할은 추가적으로 좀 알아봐야 할 것 같습니다.

3. Bot을 서버에 연결하기

왼쪽에서 OAuth2를 선택하면 URL Generator가 표시됩니다.

scope에서 bot을 설정합니다.

이러면 아래쪽에 BOT 에서 사용가능한 퍼미션 목록이 나열됩니다.

목록에서 Send Messages 를 선택합니다. 그런데 봇을 서버에 초대하기 위해서는 Administrator 권한을 줘야 하는듯 합니다. 퍼미션은 조금더 공부를 해봐야할듯 하네요.

사용할 기능들을 선택하면 url이 자동 생성되고 이 url을 이용하여 연결을 합니다.

URL 생성기는 앱에 대해 선택한 범위와 권한을 기반으로 설치 링크를 생성합니다. 링크를 사용하여 자신의 서버에 앱을 설치하거나 다른 사람이 설치할 수 있도록 공유할 수 있습니다.

여기서 생성된 url 을 복사합니다. 이 값은 discord app에서 사용할 것입니다.

브라우저 주소창에 URL을 붙여놓고 실행합니다.

이후 연결할 서버를 선택하고 계속하기를 누릅니다.

이제 승인을 누르면 생성한 bot과 서버가 연결완료 됩니다.

추가된 아이디를 눌러보면 정보가 표시됩니다. 아이콘을 보니 오프라인으로 표시되어 있네요.

이제 개발을 시작할 준비가 되었습니다.

4. bot 토큰 생성 및 복사하기

아까 개발자 사이트로 돌아가서 Bot의 토큰을 생성해 줍니다.

bot 메뉴에서 Reset Token 버튼을 누르면 이 봇에 대한 Token이 생성되며 식별자로 사용됩니다.

"보안을 위해 토큰은 생성 시 한 번만 볼 수 있습니다. 토큰을 잊어버리거나 액세스 권한을 잃어버린 경우 새 토큰을 다시 생성하세요."

라는 문구가 보이네요. 한번만 보여주고 사라지니 잘 저장해놓고 까먹으면 새로 생성해야 합니다.

5. 개발 코드와 bot 연동 간단 테스트 하기

discord는 개발에 많은 언어를 지원하고 있습니다만 여기서는 파이썬을 사용하도록 하겠습니다.

https://github.com/Rapptz/discord.py

GitHub - Rapptz/discord.py: An API wrapper for Discord written in Python.

An API wrapper for Discord written in Python. Contribute to Rapptz/discord.py development by creating an account on GitHub.

github.com

저는 rocky linux 상에서 python 3.9를 사용하고 vscode로 구현하였습니다.

패키지 설치

먼저 discord python 패키지를 설치합니다.

pip3 install discord

키값 숨기기

openai key나 discord bot의 토큰이 노출되지 않도록 주의 하세요.

다른 파일에 기록하고 load해서 사용하도록 구현해서 숨겨놓는게 중요하겠죠?

환경변수를 사용하던 json으로 만들던 편한 방식을 사용하세요.

저는 토큰값 노출을 막기 위해 리눅스 .bashrc 파일에 정의하고 os.environ.get() 을 이용하여 가져오는 방식으로 사용하였습니다.

.bashrc 파일 예>

export OPENAI_API_KEY='OPENAI API 키 값'

export DISCORD_BOT_TOKEN='디스코드 봇 TOKEN 값'

다음 기본 코드는 bot이 로그인되면 정보를 표시하고

메시지가 수신되었을 때 내용을 표시해주는 코드입니다.

discord.py는 이벤트 개념을 중심으로 작동합니다. 어떤 메시지가 발생하면 그에 대한 이벤트를 수신하여 응답할 수 있습니다.

mport discord

import os

import discord

discord_bot_token = os.environ.get('DISCORD_BOT_TOKEN')

channel_id = '자신의 채널 번호' #채널에 오른쪽 버튼 누르면 보입니다.

class MyClient(discord.Client):

async def on_ready(self):

print(f'Logged on as {self.user}!')

channel = client.get_channel(int(channel_id))

await channel.send("hi") #시작하면 무조건 표시

async def on_message(self, message):

if message.author == client.user:

#봇 자신이 보낸건 처리하지 않기

print(f'Message from me {message.author}: {message.content}')

return

#$hello 문자열이 들어오면 Hello!로 인사하기

if message.content.startswith('$hello'):

await message.channel.send('Hello!')

print(f'Message from {message.author}: {message.content}')

intents = discord.Intents.default()

intents.message_content = True

client = MyClient(intents=intents)

client.run(discord_bot_token)

다음 코드를 수행하면 console로 다음과 같은 메시지가 표시됩니다.

이때 discord에서 생성한 서버에 rot 상태가 온라인으로 변경되면 문제 없는 것입니다.

2024-06-18 14:08:30 INFO discord.client logging in using static token

2024-06-18 14:08:32 INFO discord.gateway Shard ID None has connected to Gateway (Session ID: xx).

discord에서 생성한 봇에게 DM을 날려보니 콘솔에 잘 표시가 됩니다.

6. chatGPT API를 이용해서 챗봇 만들어보기

이제 진짜 목적인 챗봇을 만들어 보겠습니다.

먼저 openAI API 사용을 위한 KEY를 발급 받으셔야 합니다.

OpenAI 계정 생성 후 Key 발급은 아래에서 하시면 됩니다.

https://platform.openai.com/api-keys

openai key도 동일하게 .bashrc 파일에 넣고 읽어오는 방식으로 하였습니다.

아래 코드는 이전 대화를 기억하면서 계속 채팅을 이어갈 수 있도록 구현 하였습니다.

chatGPT의 응답을 assistant role로 계속 누적해서 넣어주는 것이죠

import discord

import os

from openai import OpenAI

discord_bot_token = os.environ.get('DISCORD_BOT_TOKEN')

openai_api_key = os.environ.get('OPENAI_API_KEY')

channel_id = '자신의 채널 번호' #채널에 오른쪽 버튼 누르면 보입니다.

history_messages = [{"role": "system", "content": "너는 똑똑한 helper"}]

class MyClient(discord.Client):

async def on_ready(self):

print(f'Logged on as {self.user}!')

channel = client.get_channel(int(channel_id))

await channel.send("난똑똑해! 무엇이든 물어봐~~")

async def on_message(self, message):

if message.author == client.user:

#봇자신이 보낸건 처리하지 않기

print(f'Message from me {message.author}: {message.content}')

return

#이전 대화에 현재 질문 추가하기

history_messages.append({"role": "user", "content": f"{message.content}"})

completion = chatClient.chat.completions.create(

model="gpt-4o",

messages = history_messages

)

#chatgpt응답을 assistant role로 다시 전달하기 위해 저장

response = {"role": "assistant", "content": f"{completion.choices[0].message.content}"}

history_messages.append(response)

#실제 질문 답변

answer = completion.choices[0].message.content

print(response)

print(answer)

await message.channel.send(answer)

intents = discord.Intents.default()

intents.message_content = True

chatClient = OpenAI()

client = MyClient(intents=intents)

client.run(discord_bot_token)

자 이제 시험해보겠습니다.

이전 메시지를 기억하는지도 보겠습니다.

잘 만들어진것 같네요~

몇줄 안되는 코드로 훌륭한 chatGPT discord bot이 생겼습니다~~~

pytorch openpose를 사용해보자(초간단, yolov9 연동 결과)

빗자루검 — Fri, 14 Jun 2024 11:30:03 +0900

OpenPose는 사람의 자세 인식을 위한 오픈 소스 딥러닝 모델 입니다.

이 라이브러리는 단일 이미지나 비디오에서 사람의 뼈대구조에 대한 키포인트를 실시간으로 감지할 수 있습니다.

주로 다음과 같은 기능을 제공합니다.

(1) 다수의 사람 객체 인식
이미지나 비디오에서 여러 사람을 동시에 감지하고 각 사람의 자세를 추출
(2) 다중 키포인트 인식
사람의 신체 부위(어깨, 팔꿈치, 손목, 무릎, 발목 등)와 얼굴, 손의 키포인트를 인식
(3) 실시간 처리
GPU를 활용하여 실시간으로 이미지나 영상에서 사람의 자세를 분석

Body Pose Estimation: 신체의 18개 주요 부위를 감지합니다.
Hand Keypoint Detection: 각 손의 21개 키포인트를 감지합니다.

그외에 잘 사용하지는 않지만 Facial Landmark Detection(얼굴의 70개 키포인트)과 Foot Keypoint Detection(양 발의 6개 키포인트)도 사용할 수 있습니다.

모델에 대한 분석은 필요없고 일단 사용법만 알아보겠습니다.

https://github.com/CMU-Perceptual-Computing-Lab/openpose

여기는 base인데 caffe 모델이라서 아래 pytorch 모델로 받아서 사용합니다.

사용하기가 무지하게 쉽습니다.

https://github.com/Hzzone/pytorch-openpose

GitHub - Hzzone/pytorch-openpose: pytorch implementation of openpose including Hand and Body Pose Estimation.

pytorch implementation of openpose including Hand and Body Pose Estimation. - Hzzone/pytorch-openpose

github.com

pretrain 모델 다운로드

https://drive.google.com/drive/folders/1JsvI4M4ZTg98fmnCZLFM-3TeovnCRElG

body와 hand 모델을 받아서 시험해 보겠습니다.

1. 관련 모듈 설치

numpy
matplotlib
opencv-python
scipy
scikit-image
tqdm

또 빌드시 에러나는 것 등등..

2. 간단 예제 소스

소스에 들어 있는 예제로 먼저 해봅니다.

import cv2

import matplotlib.pyplot as plt

import copy

import numpy as np

from src import model

from src import util

from src.body import Body

from src.hand import Hand

body_estimation = Body('model/body_pose_model.pth', device = 'cuda')

test_image = 'images/demo.jpg'

oriImg = cv2.imread(test_image) # B,G,R order

candidate, subset = body_estimation(oriImg)

canvas = copy.deepcopy(oriImg)

canvas = util.draw_bodypose(canvas, candidate, subset)

#hand 처리. 속도 문제나 핸드 분석이 불필요하면 안해도 됨

# detect hand

hand_estimation = Hand('model/hand_pose_model.pth', device = 'cpu')

hands_list = util.handDetect(candidate, subset, oriImg)

all_hand_peaks = []

for x, y, w, is_left in hands_list:

# cv2.rectangle(canvas, (x, y), (x+w, y+w), (0, 255, 0), 2, lineType=cv2.LINE_AA)

# cv2.putText(canvas, 'left' if is_left else 'right', (x, y), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)

# if is_left:

# plt.imshow(oriImg[y:y+w, x:x+w, :][:, :, [2, 1, 0]])

# plt.show()

peaks = hand_estimation(oriImg[y:y+w, x:x+w, :])

peaks[:, 0] = np.where(peaks[:, 0]==0, peaks[:, 0], peaks[:, 0]+x)

peaks[:, 1] = np.where(peaks[:, 1]==0, peaks[:, 1], peaks[:, 1]+y)

# else:

# peaks = hand_estimation(cv2.flip(oriImg[y:y+w, x:x+w, :], 1))

# peaks[:, 0] = np.where(peaks[:, 0]==0, peaks[:, 0], w-peaks[:, 0]-1+x)

# peaks[:, 1] = np.where(peaks[:, 1]==0, peaks[:, 1], peaks[:, 1]+y)

# print(peaks)

all_hand_peaks.append(peaks)

canvas = util.draw_handpose(canvas, all_hand_peaks)

# 결과 이미지를 파일로 저장

result_image_path = 'result/result_pose.jpg'

cv2.imwrite(result_image_path, canvas)

#plt.imshow(canvas[:, :, [2, 1, 0]])

#plt.axis('off')

#plt.show()

3. yolov9와 함께 연동해서 사용 해보기

여기서는 다음 소스를 사용하였습니다.

https://github.com/WongKinYiu/yolov9

GitHub - WongKinYiu/yolov9: Implementation of paper - YOLOv9: Learning What You Want to Learn Using Programmable Gradient Inform

Implementation of paper - YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information - WongKinYiu/yolov9

github.com

대충 yolo에서 person을 detection해서 해당 bbox 영역을 openpose의 입력으로 넣고

그 결과를 원본 이미지의 bbox영역에 대체해서 저장하는 방식을 사용하였습니다.

영상은 서울시에서 제공하는 CCTV의 실시간 영상을 일부 사용하였습니다.

4. 연동 코드 작업 (관련 부분만)

실시간성을 위해서 핸드 부분 모델은 제외하고 적용하였습니다.

openpose 코드 수정

import cv2

import matplotlib.pyplot as plt

import copy

import numpy as np

import sys

import os

from src import model

from src import util

from src.body import Body

from src.hand import Hand

#외부에서 상대경로로 호출한 경우 상대 경로 처리

from pathlib import Path

FILE = Path(__file__).resolve() # 현재 파일의 절대 경로를 얻음

ROOT = FILE.parents[0] # YOLO의 루트 디렉토리를 설정

if str(ROOT) not in sys.path:

sys.path.append(str(ROOT)) # ROOT 디렉토리를 시스템 경로에 추가

ROOT = Path(os.path.relpath(ROOT, Path.cwd())) # ROOT를 현재 작업 디렉토리에 대한 상대 경로로 설정

#이미지 버퍼를 작접 받도록 함

def detect_pose_buffer(model, oriImg) :

candidate, subset = model(oriImg)

canvas = copy.deepcopy(oriImg)

canvas = util.draw_bodypose(canvas, candidate, subset)

return canvas

# yolo 쪽에서 미리 모델을 로드

def load_pose_model() :

print("get openpose model")

body_estimation = Body(ROOT / 'model/body_pose_model.pth', device = 'cuda')

return body_estimation

yolov9 코드 수정

bbox와 class를 감지하는 부분에 person 처리 하고 list에 좌표와 변환 이미지 저장

#사람이면 opse detection, car 종류면 번호판 찾기

if names[c] == 'person' :

poseTime = time.time()

person_xyxy, poseImg = draw_person_pose(pose_model, xyxy, imc, label=names[c], BGR=True)

person_list.append((person_xyxy, poseImg))

print(f"pose time : {time.time() - poseTime:.2f}")

프레임 처리가 끝나면 openpose에서 처리한 이미지와 좌표 정보를 이용하여 프레임에 덮어쓰기

for person_xyxy, poseImg in person_list :

# Load the cropped image with label

#crop_img = cv2.imread(str(person_file))

# Paste back to the original image

#im0 = paste_back(im0, crop_img, person_xyxy) # 이미지 엎어 씌우기

im0 = paste_back(im0, poseImg, person_xyxy) # 이미지 엎어 씌우기

#원본 파일에 openpose 결과를 overwite 하는 함수

def paste_back(im, crop_img, xyxy):

im = im.copy() #ysyang 갑자기 read only 오류 발생해서 수정

x1, y1, x2, y2 = map(int, xyxy)

# Resize crop_img to fit the bounding box region in the original image

height, width = y2 - y1, x2 - x1

resized_crop_img = cv2.resize(crop_img, (width, height))

# Make sure the dimensions match before pasting

if im[y1:y2, x1:x2].shape == resized_crop_img.shape:

im[y1:y2, x1:x2] = resized_crop_img

else:

print(f"Error: Shape mismatch. Original region shape: {im[y1:y2, x1:x2].shape}, Crop shape: {resized_crop_img.shape}")

return im

간단하게 저정도만 추가해도 잘 돌아갑니다.

paddle OCR을 이용해서 문자 인식 해보기(easy OCR과 결과 비교)

빗자루검 — Mon, 10 Jun 2024 15:38:25 +0900

PaddleOCR은 중국어, 한글 등 여러 언어를 지원하는 PaddlePaddle 기반의 OCR 라이브러리입니다.

관련된 작업을 할 일이 있어서 Tesseract OCR, Easy OCR, Paddle OCR 을비교해보고 있는데

결과적으로 paddle OCR이 성능이 상당이 좋네요.

확인해보겠습니다.

1 필요한 패키지 설치

pip install paddlepaddle

pip install paddleocr

*gpu 사용시

pip install paddlepaddle-gpu

2. 기본 코드 작성

이미지 읽어서 박스치고 아래에 인식된 문자열 출력 하는 코드

from paddleocr import PaddleOCR

from PIL import Image, ImageDraw, ImageFont

import numpy as np

# PaddleOCR 리더 생성 (한글 'korean' 설정)

ocr = PaddleOCR(lang='korean')

# 이미지 로드

image_path = 'data/images/car_01.jpg'

image = Image.open(image_path)

# 텍스트 검출

#result = ocr.ocr(image_path, cls=True)

image_np = np.array(image)

result = ocr.ocr(image_np, cls=True)

# PIL의 이미지를 수정하기 위한 객체 생성

draw = ImageDraw.Draw(image)

font_path = "font/NanumGothic-Bold.ttf" # 폰트 파일 경로 설정

font = ImageFont.truetype(font_path, 24) # 폰트 크기 설정

# 결과 시각화

boxes = [line[0] for line in result[0]]

texts = [line[1][0] for line in result[0]]

scores = [line[1][1] for line in result[0]]

# 이미지에 박스와 텍스트 그리기

for (box, text, score) in zip(boxes, texts, scores):

(top_left, top_right, bottom_right, bottom_left) = box

top_left = tuple(map(int, top_left))

bottom_right = tuple(map(int, bottom_right))

# 텍스트 및 확률 출력

print(f"Detected text: {text} (Probability: {score:.2f})")

# 박스 그리기

draw.rectangle([top_left, bottom_right], outline=(0, 255, 0), width=2)

#draw.text(top_left, text, font=font, fill=(255, 0, 0)) # 빨간색 텍스트

draw.text(bottom_left, text, font=font, fill=(255, 0, 0)) # 빨간색 텍스트

# 이미지 저장

image.save("result.jpg")

Detected text: 이전 (Probability: 0.84)
Detected text: 전자 (Probability: 0.83)
Detected text: 07:00- (Probability: 0.96)
Detected text: 전 (Probability: 1.00)
Detected text: 10:00 (Probability: 1.00)
Detected text: 용 (Probability: 1.00)
Detected text: 토요일 (Probability: 1.00)
Detected text: 공휴일 (Probability: 0.97)
Detected text: 제외 (Probability: 0.94)
Detected text: 후원치과원 (Probability: 0.91)
Detected text: 해이터치 (Probability: 0.90)
Detected text: 기 (Probability: 0.97)
Detected text: 중비원지과 (Probability: 0.79)
Detected text: 소내원지파과 (Probability: 0.78)
Detected text: WORL (Probability: 0.94)
Detected text: 74오8761 (Probability: 0.95)
Detected text: 야 (Probability: 1.00)
Detected text: 시말54 (Probability: 0.61)

3. easy OCR과 결과 비교

같은 방식으로 easy OCR과 비교해서 확인해보겠습니다.

import easyocr

import cv2

from PIL import Image, ImageDraw, ImageFont

import numpy as np

# EasyOCR 리더 생성 (한글 'ko'와 영어 'en' 설정)

reader = easyocr.Reader(['ko', 'en'])

# 이미지 로드

image_path = 'data/images/car_01.jpg'

image = Image.open(image_path)

# 텍스트 검출

image_np = np.array(image)

results = reader.readtext(image_np)

# PIL의 이미지를 수정하기 위한 객체 생성

draw = ImageDraw.Draw(image)

font_path = "font/NanumGothic-Bold.ttf" # 폰트 파일 경로 설정

font = ImageFont.truetype(font_path, 24) # 폰트 크기 설정

# 이미지에 박스와 텍스트 그리기

for (bbox, text, prob) in results:

(top_left, top_right, bottom_right, bottom_left) = bbox

top_left = tuple(map(int, top_left))

bottom_right = tuple(map(int, bottom_right))

# 텍스트 및 확률 출력

print(f"Detected text: {text} (Probability: {prob:.2f})")

# 박스 그리기

draw.rectangle([top_left, bottom_right], outline=(0, 255, 0), width=2)

draw.text(bottom_left, text, font=font, fill=(0, 255, 255)) # 하늘색

# 이미지 저장

image.save("result_easyocr.jpg")

Detected text: (07:O0~ (Probability: 0.20)
Detected text: ; (Probability: 0.01)
Detected text: 전용 (Probability: 1.00)
Detected text: I로요go] (Probability: 0.03)
Detected text: 면 (Probability: 0.47)
Detected text: [공휴일 제외 (Probability: 0.51)
Detected text: 부 (Probability: 1.00)
Detected text: 푹 (Probability: 0.35)
Detected text: 천그 (Probability: 0.16)
Detected text: wOnL (Probability: 0.29)
Detected text: 이진런 (Probability: 0.20)
Detected text: # (Probability: 0.04)
Detected text: {7428761 (Probability: 0.44)
Detected text: @ (Probability: 0.27)
Detected text: 27S148) (Probability: 0.17)
Detected text: 운원치과 (Probability: 0.25)
Detected text: tl터씨 (Probability: 0.03)

다음은 참고

https://yongeekd01.tistory.com/185

tesseract OCR을 이용하여 이미지에서 문자 인식해보기(초간단)

Tesseract OCR (Optical Character Recognition)은 이미지에서 텍스트를 추출하는 데 사용되는 강력하고 오픈 소스 소프트웨어로 다양한 운영 체제에서 널리 사용되고 있습니다. Tesseract는 Hewlett-Packard (HP)

yongeekd01.tistory.com

https://yongeekd01.tistory.com/184

easyOCR을 이용하여 이미지에서 문자 인식해보기(초간단)

EasyOCR은 이미지 내의 텍스트를 감지하고 인식하는 데 사용할 수 있는 오픈 소스 라이브러리입니다 Python 프로그래밍 언어로 작성되어 사용하기도 편하고 상당히 훌륭한 인식율을 보여줍니다.

yongeekd01.tistory.com

Ubuntu에서 방화벽 설정하기(우분투 ufw, IP범위, 포트범위)

빗자루검 — Wed, 5 Jun 2024 13:10:57 +0900

Ubuntu의 방화벽 설정은 ufw와 iptables라는 두 가지 주요 도구를 사용하여 관리할 수 있습니다.

ufw는 "Uncomplicated Firewall"의 약자로, 사용이 매우 간단하고 직관적인 반면 iptables는 더 세밀한 제어와 고급 기능을 제공하는 방화벽 도구입니다.

* UFW
사용이 간편하고 직관적
간단한 방화벽 설정에 적합
명령어가 쉽고 빠르게 규칙을 추가/삭제 가능

* IPTables
더 세밀한 제어와 고급 기능 제공
복잡한 네트워크 환경에서 유리
다양한 체인과 규칙을 사용하여 복잡한 필터링 가능
두 도구 모두 시스템 보안을 강화하기 위해 매우 유용하지만, 각각의 특성과 장단점을 이해하고 필요에 맞게 선택하는 것이 중요합니다. UFW는 간단한 설정에, IPTables는 고급 설정에 적합합니다.

여기서는 직관적인 ufw의 사용법을 설명합니다

1. 설치 및 활성/비활성화 , 기본 명령

설치

>sudo apt-get update
>sudo apt-get install ufw

활성화/비활성화

>sudo ufw enable

>sudo ufw disable

상태확인

>sudo ufw status

현재 설정 값 확인

>sudo ufw status verbose

정책 설정

모든 연결 열기/닫기
>sudo ufw default allow
>sudo ufw default deny

2. 기본 설정 (IP 열기/닫기, Port 열기/닫기)

IP 열기/닫기

>sudo ufw allow from 192.168.1.100

>sudo ufw deny from 192.168.1.100

포트 열기/닫기

>sudo ufw allow 8080/tcp
>sudo ufw deny 8080/tcp

3. 주소 범위로 열기/닫기 , 포트 범위로 열기 /닫기

192.168.1.0에서 192.168.1.255까지의 IP 범위가 포트 8080에 접근 가능하도록 허용
>sudo ufw deny from 192.168.1.0/24

3000포트 부터 4000 포트 열기/닫기

>sudo ufw allow 3000:4000/tcp
>sudo ufw deny 3000:4000/tcp

4. 규칙 삭제하기

목록확인 , 규칙 번호로 삭제

>sudo ufw status numbered

>sudo ufw delete 1

특정 IP 주소 차단 규칙 삭제
>sudo ufw delete deny from 192.168.1.100
특정 포트 범위 허용 규칙 삭제
>sudo ufw delete allow 3000:4000/tcp
특정 포트 범위 차단 규칙 삭제
>sudo ufw delete deny 3000:4000/tcp

성수 핫플 태국요리 살라댕템플 둘러보기

빗자루검 — Wed, 5 Jun 2024 11:26:59 +0900

성수동이 점점더 핫해지고 있습니다

오늘은 분위기도 좋고 맛도 좋은 태국요리 전문점 살라댕템플을 둘러보겠습니다.

이국적인 분위기를 잔뜩 펼쳐놓은 곳이지요~~

연인, 가족과 한번 방문해보시면 반하실거라 믿습니다.

1. 살라댕템플 위치 및 정보

위치는 성수역 3번 출구에서 7~8분 정도 걸어가시면 됩니다.

https://naver.me/56aJ0O8T

살라댕템플 : 네이버

방문자리뷰 610 · 블로그리뷰 1,119

m.place.naver.com

2. 외관 둘러보기

공장들이 즐비한 성수동 골목길을 돌다가 갑자기 딲 나오는 뷰. ^^

여기가 입구입니다.

안으로 들어가면 인공 호수가 있고 본관과 연결된 뗏목을 이용하여 입장하게 됩니다.

뭔가 느낌 있죠?

입구에서 안내 하시는 분이 예약 시간을 물어보고 배를 살살 움직여서 안으로 이동합니다.

3. 내부 둘러보기

본관에 도착하면 내부가 아주 이국적으로 잘 꾸며져 있는 모습을 볼 수 있습니다.

태국을 그대로 옮겨 놓은 듯한 곳이네요.

앞의 커다란 수조는 마치 수영장 앞에 있는 듯한 느낌을 줍니다.

4. 메뉴 및 맛보기

커다란 수조의 주변에 연인들을 위한 2인석이 배치되어 있고 그 뒷쪽에는 다인석이 많이 준비 되어 있습니다.

메뉴판도 나무 느낌으로 멋지네요.

이제 맛을 한번 볼까요:?

태국에 온것 처럼 싱하 맥주도 한번 시켜보고 분위기있는 음식도 주문해봅니다.

크. 훌륭합니다. 맛도 좋네요

오늘의 선택은 성공!!!

좋은날 또 다시가고 싶은 곳입니다.

객체 탐지 모델 YOLO의 버전별 라이센스 비교 (MIT, Apache 2.0, GPL-3.0, AGPL-3.0 차이, license)

빗자루검 — Wed, 22 May 2024 14:43:55 +0900

1. YOLO 개요

YOLO (You Only Look Once)는 객체 탐지(Object Detection) 분야에서 널리 사용되는 딥러닝 모델입니다. 객체 탐지 모델은 이미지나 비디오 프레임에서 객체의 위치와 종류를 식별하는 데 사용됩니다. YOLO는 그 이름에서 알 수 있듯이 이미지를 한 번에 처리하여 객체를 탐지하는 방식을 사용합니다. 이는 다른 모델들이 사용하는 슬라이딩 윈도우나 영역 제안(region proposal) 방식을 사용하는 것과 대조적입니다

버전별 특성 비교를 보면 다음과 같습니다.

출처 : https://github.com/WongKinYiu/yolov9

2. YOLO의 주요 특징 요약

*속도와 효율성

YOLO는 전체 이미지를 단 한 번의 전진 패스(forward pass)로 처리합니다. 이 때문에 매우 빠르며, 실시간 객체 탐지가 가능합니다.

일반적인 객체 탐지 모델들이 여러 단계로 이미지를 처리하는 것과 달리, YOLO는 단일 신경망을 통해 이미지를 처리하여 속도를 극대화합니다.

*전체 이미지에서 예측

YOLO는 이미지를 SxS 그리드로 나누고 각 그리드 셀에 대해 예측을 수행합니다. 각 셀은 여러 바운딩 박스와 이 박스들이 포함하는 객체의 확률을 예측합니다.

모든 그리드 셀에서 예측한 결과를 종합하여 최종 객체 탐지 결과를 도출합니다.

*종단 간 학습

YOLO는 입력 이미지에서 객체의 위치와 클래스 확률을 직접 예측하는 종단 간(end-to-end) 방식으로 학습합니다.

이를 통해 복잡한 파이프라인을 단순화하고, 훈련 및 추론 과정을 쉽게 관리할 수 있습니다.

3. YOLO 버전별 라이센스

YOLO (You Only Look Once)는 여러 버전이 존재하며 각각의 라이센스는 다를 수 있습니다.

yolov1부터 yolov3까지는 Joseph Redmon이 개발하였으나 이후에는 수많은 파생 버전이 생겨나게 되었습니다. 동일한 이름의 yolo도 개발자에 따라 라이선스가 다르니 반드시 확인이 필요합니다.

다음은 라이선스와 YOLO의 파생 버전을 표시한 그림입니다.

약간 차이가 있는 부분도 있어서 따로 아래에 라이선스 부분을 기술 하였습니다.

출처 : https://medium.com/deelvin-machine-learning/the-evolution-of-the-yolo-neural-networks-family-from-v1-to-v7-48dd98702a3d

YOLOv1, YOLOv2, YOLOv3

Joseph Redmon이 개발하였으며, C기반의 Darknet이라는 오픈소스 신경망 프레임워크에서 구현되었습니다.

이 버전들은 주로 MIT 라이센스를 따릅니다

Pytorch 기반 https://github.com/ultralytics/yolov3는 AGPL-3.0입니다

YOLOv4

Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao에 의해 개발되었습니다. 이 버전은 또한 Darknet에서 구현되었으며, GPL-3.0 (GNU General Public License v3.0) 라이센스를 따릅니다.

pytorch 기반 https://github.com/WongKinYiu/PyTorch_YOLOv4 는 내용에 YOLOv4 which is based on ultralytics/yolov3 라고 되어 있으니 AGPL-3.0입니다.

YOLOv5

https://github.com/ultralytics/yolov5 Ultralytics의 코드는 AGPL-3.0 입니다.

YOLOv6

https://github.com/meituan/YOLOv6은 GPL-3.0 입니다.

YOLOv7

https://github.com/WongKinYiu/yolov7 은 AGPL-3.0 입니다.

YOLOv8

https://github.com/ultralytics/ultralytics YOLOv8은 AGPL-3.0 입니다.

YOLOv9

https://github.com/WongKinYiu/yolov9 GPL-3.0입니다.

YOLOR, ScaledYOLO4, YOLOX 등등 기타

https://github.com/WongKinYiu/yolor GPL-3.0입니다

https://github.com/WongKinYiu/ScaledYOLOv4 GPL-3.0입니다

https://github.com/Megvii-BaseDetection/YOLOX Apache-2.0 입니다.

라이선스에서 자유롭고 싶다면 YOLOX를 사용하는 것도 좋습니다.

4. 코드 재사용시 각각의 라이센스 특징 및 제한

소프트웨어 라이센스는 소프트웨어의 사용, 복제, 수정 및 배포 권한을 규정하는 법적 문서입니다. MIT, Apache License 2.0, GNU General Public License v3.0 (GPL-3.0), 그리고 GNU Affero General Public License v3.0 (AGPL-3.0)는 널리 사용되는 오픈 소스 라이센스입니다.

(1) MIT 라이센스

MIT 라이센스는 가장 단순하고 유연한 오픈 소스 라이센스 중 하나로, 사용자가 소프트웨어를 자유롭게 사용할 수 있도록 허용합니다. 이 라이센스는 매사추세츠 공과대학(Massachusetts Institute of Technology, MIT)에서 처음 작성되어 그 이름을 따왔습니다.

사용 및 배포

소프트웨어를 자유롭게 사용할 수 있습니다.

소프트웨어의 복제본을 무제한으로 배포할 수 있습니다.

소프트웨어를 수정할 수 있습니다.

수정된 소프트웨어를 배포할 수 있습니다.

조건

책임 제한

(2) Apache License 2.0

Apache License 2.0은 Apache Software Foundation에서 만든 라이센스로, 사용자와 개발자 모두에게 유연한 조건을 제공합니다.

사용 및 배포

소프트웨어를 무료로 사용할 수 있습니다.

수정된 소프트웨어를 포함하여 소프트웨어의 복제본을 배포할 수 있습니다.

소스 코드와 바이너리 형식 모두 배포 가능합니다.

조건

수정된 파일에는 수정된 사항에 대한 고지가 포함되어야 합니다.

소프트웨어 배포 시 원본 라이센스와 함께 배포해야 합니다.

특허 라이센스가 포함되어 있습니다.

책임 제한

기업에서 사용하기 용이하며, 상업적 목적으로도 사용할 수 있습니다.

GPL과 달리, Apache 라이센스는 수정된 소스 코드를 공개할 의무가 없습니다.

(3) GNU General Public License v3.0 (GPL-3.0)

GPL-3.0은 Free Software Foundation에서 만든 라이센스로, 자유 소프트웨어 운동의 철학을 반영합니다. 소프트웨어의 자유로운 사용, 수정, 배포를 강조합니다.

사용 및 배포

소프트웨어를 무료로 사용할 수 있습니다.

수정된 소프트웨어를 포함하여 소프트웨어의 복제본을 배포할 수 있습니다.

소스 코드와 함께 배포해야 합니다.

조건

소프트웨어를 배포할 때, 동일한 GPL 라이센스를 유지해야 합니다.

수정된 파일에는 수정된 사항에 대한 고지가 포함되어야 합니다.

소프트웨어 배포 시 소스 코드를 제공하거나 소스 코드를 얻을 수 있는 방법을 제공해야 합니다.

첵임 제한

강력한 카피레프트(소스 코드 공개 의무)를 요구합니다.

소프트웨어가 다른 소프트웨어와 결합될 때, 결합된 소프트웨어도 GPL을 따라야 합니다.

(4) GNU Affero General Public License v3.0 (AGPL-3.0)

AGPL-3.0은 GPL-3.0의 변형으로, 네트워크를 통해 소프트웨어를 사용하는 경우에도 소스 코드를 공개할 의무를 추가로 규정합니다.

사용 및 배포

소프트웨어를 무료로 사용할 수 있습니다.

수정된 소프트웨어를 포함하여 소프트웨어의 복제본을 배포할 수 있습니다.

소스 코드와 함께 배포해야 합니다.

조건

소프트웨어를 배포할 때, 동일한 AGPL 라이센스를 유지해야 합니다.

수정된 파일에는 수정된 사항에 대한 고지가 포함되어야 합니다.

소프트웨어가 네트워크를 통해 사용될 때도 소스 코드를 제공해야 합니다.

특징

GPL-3.0과 유사하지만, 네트워크를 통한 사용을 커버하여 클라우드 서비스나 웹 애플리케이션에서 사용될 때도 소스 코드를 공개해야 합니다.

소프트웨어 서비스 모델을 통해 배포되는 소프트웨어의 카피레프트를 강화합니다.

chatGPT-4o를 이용하여 이미지 분석하기(gpt-4-turbo, gpt-4o, Image Description, 이미지 해석 예제코드)

빗자루검 — Tue, 21 May 2024 11:22:14 +0900

이번에 새로 chatGPT-4o가 발표되었습니다.

이미지를 분석하는 비전기능은 예전에 gpt-4-vision-preview 모델을 통해서 할 수 있었는데 이제는 통합 모델로 나오고 있습니다.

2024.05 현재 OpenAI 에서 Vision 기능을 사용할 수 있는 모델은 다음과 같습니다.

1. GPT Vision 모델

상세한 내용은 다음을 참고 하세요

https://platform.openai.com/docs/models

2. API를 이용하여 이미지 해석 해보기

(1) URL 이미지

온라인 이미지를 url 로 접근해서 해석해보겠습니다.

from openai import OpenAI

client = OpenAI()

#URL을 이용하여 이미지 전달 하기

response = client.chat.completions.create(

#model="gpt-4-vision-preview",

model="gpt-4o",

messages=[

{

"role": "user",

"content": [

#{"type": "text", "text": "What’s in this image?"},

{"type": "text", "text": "이 그림을 한글로 설명해줘"},

{

"type": "image_url",

"image_url": {

"url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",

}

max_tokens=300,

)

print(response.choices[0])

'이 그림은 넓은 초원 위에 나무 덱 보드워크가 길게 펼쳐져 있는 풍경을 보여줍니다. 보드워크 양쪽에는 푸르른 잔디와 식물들이 무성하게 자라고 있으며, 멀리에는 나무들이 듬성듬성 서 있습니다. 하늘은 맑고 푸르르며, 곳곳에 흰 구름들이 떠 있습니다. 전체적으로 매우 평화롭고 자연이 아름답게 표현된 장면입니다.'

(2) 파일 업로드

다음에는 이미지 파일을 로드해서 해석해보도록 하겠습니다.

#파일을 직접 업로드 하기

import base64

import requests

import os

# OpenAI API Key

#api_key = "YOUR_OPENAI_API_KEY"

api_key = os.environ.get('OPENAI_API_KEY')

print(api_key)

# Function to encode the image

def encode_image(image_path):

with open(image_path, "rb") as image_file:

return base64.b64encode(image_file.read()).decode('utf-8')

# Path to your image

image_path = "man-2425121_1280.jpg"

# Getting the base64 string

base64_image = encode_image(image_path)

headers = {

"Content-Type": "application/json",

"Authorization": f"Bearer {api_key}"

}

payload = {

#"model": "gpt-4-vision-preview",

"model": "gpt-4o",

"messages": [

{

"role": "user",

"content": [

{

"type": "text",

#"text": "What’s in this image?"

"text": "이 그림을 한글로 설명해줘"

{

"type": "image_url",

"image_url": {

"url": f"data:image/jpeg;base64,{base64_image}"

}

]

}

"max_tokens": 300

}

response = requests.post("https://api.openai.com/v1/chat/completions", headers=headers, json=payload)

print(response.json())

'이 그림은 두 사람이 소파에 앉아 있는 모습입니다. 왼쪽 남자는 검은색 재킷을 입고 있으며 하얀 머그잔을 손에 들고 있고, 오른쪽 여자는 갈색 스카프를 두르고 있으며, 마찬가지로 손에 하얀 머그잔을 들고 있습니다. 두 사람 모두 편안하게 웃고 있습니다. 그들 사이에는 작은 갈색 불독이 앉아 있는 모습도 보입니다. 배경은 나무로 된 벽입니다. 이들은 따뜻하고 편안한 분위기 속에서 휴식을 취하고 있는 것처럼 보입니다.'

GPT4o는 속도가 정말 이전보다 많이 빨라진것 같네요.

앞으로 어떤 모델들이 나올지 기대됩니다.

키등록 및 초기 설정은 다음을 참고하세요.

https://yongeekd01.tistory.com/141

OpenAI API 이용 개발 기초(소개, API 사용준비, 기본모델들, ChatGTP)

1. Open AI API 소개 OpenAI API는 거의 모든 작업에 적용 가능 . 다양한 기능과 가격대의 다양한 모델을 제공할 뿐만 아니라 맞춤형 모델을 미세 조정할 수 있는 기능도 제공함 OpenAI에서는 현재 API를

yongeekd01.tistory.com

ChatGPT-4o, GPT-4 Turbo 특성 및 가격 비교(OpenAI API 사용예제)

빗자루검 — Thu, 16 May 2024 10:45:12 +0900

또 난리가 났네요.

이번에 OpenAI에서 최신 모델을 또 발표 했습니다. 어디까지 발전할까요?

모델을 발표할때마다 API 비용은 계속해서 낮추고 있어 진입 장벽은 점점 낮아지고 있습니다.

시장을 다 먹어버리고 올리는건 아닐지.... 의심

일단 GPT-4o 에 대해서 간단히 살펴 보면

GPT-4o("옴니"의 "o"는 "옴니"를 의미)는 훨씬 더 자연스러운 인간과 컴퓨터 간의 상호작용을 위한 단계로, 텍스트, 오디오, 이미지 및 비디오의 모든 조합을 입력으로 받아들이고 텍스트, 오디오 및 이미지의 모든 조합을 출력으로 생성합니다. 최소 232밀리초, 평균 320밀리초 만에 오디오 입력에 응답할 수 있으며, 이는 대화에서 사람의 응답 시간(새 창에서 열기)과 비슷한 수준입니다. 영어 텍스트 및 코드에 대한 GPT-4 터보 성능과 비슷하며, 비영어권 언어의 텍스트에 대한 성능이 크게 향상되는 동시에 API에서 훨씬 빠르고 50% 더 저렴합니다. GPT-4o는 특히 기존 모델에 비해 시각 및 오디오 이해 능력이 뛰어납니다.

이렇게 설명하고 있네요.

최대 토큰 수는 동일하지만 한국어 토큰 처리 방식이 바뀌어서 예전보다 사용 비용도 적게 들거라고 하더군요.

Korean 1.7x fewer tokens (from 45 to 27)

안녕하세요, 제 이름은 GPT-4o입니다. 저는 새로운 유형의 언어 모델입니다, 만나서 반갑습니다!

일단 딴건 몰라도 속도 하나는 엄청 빨라진건 확실합니다.

기존 벤치마크에서 측정한 결과, GPT-4o는 텍스트, 추론 및 코딩 인텔리전스에서 GPT-4 터보 수준의 성능을 달성하는 동시에 다국어, 오디오 및 시각 기능에서 최고의 성능을 발휘 한다고 합니다.

*가격

GPT-4o는 또 반으로 가격을 낮췄습니다.

데모화면을 보면 정말 대단하다는 생각이 듭니다.

https://openai.com/index/hello-gpt-4o/

*사용해보기

혹시 API 사용하는 법이 궁금하시면 간략 샘플

https://yongeekd01.tistory.com/141

OpenAI API 이용 개발 기초(소개, API 사용준비, 기본모델들, ChatGTP)

yongeekd01.tistory.com

https://yongeekd01.tistory.com/142

OpenAI Audio API를 이용한 TTS 구현 기초(tts-1, tts-1-hd)

1.1 Audio Models 1.1.1 tts-1, tts-1-hd 모델 설명 https://platform.openai.com/docs/models/tts 텍스트를 음성으로 변환하는 AI 모델 - tts-1 : 스피드에 최적화 - tts-1-hd : 품질에 최적화 MODEL DESCRIPTION tts-1 Text-to-speech 1 The

yongeekd01.tistory.com

https://yongeekd01.tistory.com/143

OpenAI Audio API를 이용한 STT 구현 기초(whisper-1, transcription, English translation)

1.1 Audio Models 1.1.2 whisper-1 모델 설명 Whisper는 범용 음성 인식 모델 (Speech to Text) - 다양한 오디오로 구성된 대규모 데이터셋을 학습하고 다국어 음성 인식은 물론 음성 번역과 언어 식별까지 수행

yongeekd01.tistory.com

https://yongeekd01.tistory.com/144

chatGPT, OpenAI API, DALLI-E 모델을 이용한 이미지 생성 기초

1.1 Image Models 1.1.1 DALL-E 모델 설명 DALL-E는 자연어로 된 설명을 바탕으로 사실적인 이미지와 예술 작품을 만들 수 있는 인공지능 시스템 - dall-e-3 DALL-E : 3 2023년 11월에 출시된 최신 DALL-E 모델 - DALL-E

yongeekd01.tistory.com

https://yongeekd01.tistory.com/145

DALLI-E 모델을 이용한 이미지 수정 및 유사이미지 만들기(chatGPT, OpenAI API)

DALLI-E 모델 설명 참조 https://yongeekd01.tistory.com/144 chatGPT, OpenAI API, DALLI-E 모델을 이용한 이미지 생성 기초 1.1 Image Models 1.1.1 DALL-E 모델 설명 DALL-E는 자연어로 된 설명을 바탕으로 사실적인 이미지와

yongeekd01.tistory.com

https://yongeekd01.tistory.com/146

chatGPT-4를 이용한 이미지 해석(Image Description, gpt-4-vision)

1. chatGPT-4를 이용한 이미지 해석 이미지를 이해하고 설명할 수 있는 기능 1.1 개요 지금까지 언어 모델 시스템은 단일 입력 양식인 텍스트로만 입력할 수 있다는 한계 이미지 해석 모델 : 비전 기

yongeekd01.tistory.com

tesseract OCR을 이용하여 이미지에서 문자 인식해보기(초간단)

빗자루검 — Thu, 9 May 2024 11:24:06 +0900

Tesseract OCR (Optical Character Recognition)은 이미지에서 텍스트를 추출하는 데 사용되는 강력하고 오픈 소스 소프트웨어로 다양한 운영 체제에서 널리 사용되고 있습니다.

Tesseract는 Hewlett-Packard (HP)에서 1985년에 개발이 시작되었으며, 2005년부터는 Google이 개발을 주도하고 있습니다.

1. tesseract 특징

- Tesseract는 100개 이상의 언어를 지원하며, 각 언어에 대한 트레이닝 데이터를 통해 인식 능력을 강화할 수 있습니다. 사용자는 특정 언어를 위한 트레이닝 데이터 파일을 다운로드하여 사용할 수 있습니다.

- 사용자는 자신만의 트레이닝 데이터를 생성하여 Tesseract의 인식 능력을 특정 언어나 글꼴에 맞게 조정할 수 있습니다. 이는 특히 특수 글꼴이나 형식을 많이 사용하는 문서에서 유용합니다.

- 다양한 이미지 형식 지원: Tesseract는 JPEG, PNG, GIF, BMP 등 다양한 이미지 파일 형식을 지원합니다. 또한, TIFF 형식의 다중 페이지 이미지 파일을 직접 처리할 수 있는 능력도 가지고 있습니다.

- Linux, Windows, macOS 등 다양한 운영 체제에서 사용할 수 있습니다.

2. 사용준비

파이선 패키지만 설치하면 안되고 먼저 몇가지 설치할 것들이 있습니다.

여기서는 Rocky Linux 8을 기반에서 실행 했습니다.

먼저 리눅스 패키지를 확인해보겠습니다.

패키지 설치

yum install tesseract-devel

설치가 끝나고 확인해보면 영어 엔진만 기본적으로 들어 있습니다.

데이터를 가져오기 위해서 gihub 사이트에 접속해서 한글 학습데이터를 다운 받아 testdata 위치에 복사해 넣습니다.

https://github.com/tesseract-ocr/tessdata

GitHub - tesseract-ocr/tessdata: Trained models with fast variant of the "best" LSTM models + legacy models

Trained models with fast variant of the "best" LSTM models + legacy models - tesseract-ocr/tessdata

github.com

위 사이트에서 다음 kor 데이터를 받으시면 됩니다.

데이터 폴더에 복사합니다.

이제 리눅스 패키지는 준비되었으니 파이썬 패키지를 설치 합니다 .

pip3 install pytesseract

3. tesseract 사용해보기

파이썬에서 사용법은 초간단합니다.

이미지를 로드해서 언어모델만 지정하고 실행하면 결과를 볼수 있습니다.

여기서는 동일한 이미지에 대해서 영어모델, 한글모델, 두가지모델 동시 수행 시 결과를 확인해 보겠습니다.

import pytesseract

from PIL import Image

def tesseract_test() :

# 이미지 로드

#image = Image.open("./channels/10/20240508-182040.png")

image = Image.open("./002.png")

# 이미지에서 텍스트 추출

text = pytesseract.image_to_string(image, lang='eng')

print(f"-----------\n{text}")

text = pytesseract.image_to_string(image, lang='kor')

print(f"-----------\n{text}")

text = pytesseract.image_to_string(image, lang='eng+kor')

print(f"-----------\n{text}")

if __name__ == '__main__' :

tesseract_test()

사용된 이미지는 다음과 같습니다.

이제 각 모델의 결과를 각각 확인해 보겠습니다.

-----------

ASH Ao R SiEE M

Dot B

-----------

연 압 뉴 스 7/'

비 만 오 면 사 라 지는 차 선 …… 신 공 법 도 입 으 로 해 결 될 까

기 사 원 문

할 서 승 택 기 자

를 13 에 디 7 가

공 법 도 입 으 로 해 결 될 까

-----------

. 신 공 법 도 입 으 로 해 결 될 까

디 과 @

ㅋ 영문은 몰라도 한글은 제생각엔 별로입니다.

고딕같은 정자체가 저정도이고 디자인 글씨체는 더 잘 못찾네요

(EasyOCR이 훨 나은것 같다는 생각......)

참고
https://yongeekd01.tistory.com/184

easyOCR을 이용하여 이미지에서 문자 인식해보기(초간단)

yongeekd01.tistory.com

easyOCR을 이용하여 이미지에서 문자 인식해보기(초간단)

빗자루검 — Fri, 3 May 2024 18:35:59 +0900

EasyOCR은 이미지 내의 텍스트를 감지하고 인식하는 데 사용할 수 있는 오픈 소스 라이브러리입니다

Python 프로그래밍 언어로 작성되어 사용하기도 편하고 상당히 훌륭한 인식율을 보여줍니다.

물론 다양한 언어를 지원하고 있어 응용범위도 넓습니다.

1. easyOCR의 특징

(1) 다양한 언어 지원

EasyOCR은 80개 이상의 언어를 지원하며, 이를 통해 전 세계 다양한 문화와 언어의 텍스트 인식이 가능합니다.

영어, 중국어, 한국어, 일본어, 아랍어 등 다양한 언어를 포함하고 있습니다.

(2) 딥러닝 기반

Convolutional Neural Networks(CNN)와 Recurrent Neural Networks(RNN), 그리고 CTC(Connectionist Temporal Classification) loss를 사용하여 텍스트 인식 모델을 구현하였으며 높은 정확도와 강력한 텍스트 인식 능력을 제공합니다.

(3) GPU 지원

GPU를 사용하여 처리 속도를 향상시킬 수 있습니다.

(4) 간단한 API

사용자 친화적인 API를 제공하여, 몇 줄의 코드만으로도 이미지에서 텍스트를 추출할 수 있습니다.

(5) 오픈 소스

GitHub을 통해 소스 코드에 접근할 수 있으며, 커뮤니티 기반으로 지속적으로 발전하고 있습니다. 누구나 기여할 수 있고, 개선 사항이나 새로운 기능을 제안할 수 있습니다..

파이썬 코드를 통해서 간단하게 이미지에서 문자를 인식하고

그 결과를 이미지에 표시하여 확인해보겠습니다.

2. 예제 코드

import time

import easyocr

from PIL import Image, ImageDraw

#loading time이 길어서 체크

start = time.time()

#OCR reader 생성

#ko, ja, en 등등 설정, 동시에도 가능 ['ko', 'en']

#ocr_model = easyocr.Reader(['ko']) #CPU 사용

ocr_model = easyocr.Reader(['ko'], gpu=True) #GPU 사용

print(f"model loading time : {time.time() - start}")

proc_time = time.time()

# 이미지에서 텍스트 인식

result = ocr_model.readtext('테스트이미지.png')

if len(result) > 0 :

#인식된 문자열에 bbox를 그려서 확인

# PIL로 이미지 로드

image = Image.open('테스트이미지.png')

draw = ImageDraw.Draw(image)

# 인식 결과 출력

for detection in result:

# detection 포맷: (bbox, text, confidence)

bbox, text, confidence = detection

print(f"Detected text:{bbox} {text} (Confidence: {confidence:.2f})")

# 다각형 그리기

draw.polygon([tuple(point) for point in bbox], outline='blue')

image.save(f"bbox.png")

#loading time이 길어서 초기화로 옮김

print(f"proc time : {time.time() - proc_time}")

다음과 같은 이미지를 이용해서 인식된 문자열에 박스를 표시하여 저장해보았습니다.

딱 봐도 너무 간단 하지요?

GPU를 사용하면 상당히 빠르게 동작합니다.

model loading time : 15.14763331413269
Detected text:[[1073, 53], [1153, 53], [1153, 95], [1073, 95]] 파6 (Confidence: 0.07)
Detected text:[[1020, 106], [1158, 106], [1158, 130], [1020, 130]] 아는 형님 버이비모스터 (Confidence: 0.25)
Detected text:[[644, 198], [840, 198], [840, 300], [644, 300]] 달모 (Confidence: 0.23)
Detected text:[[642, 290], [1164, 290], [1164, 414], [642, 414]] 판시핑에계 (Confidence: 0.13)
Detected text:[[436, 494], [473, 494], [473, 513], [436, 513]] 판시터 (Confidence: 0.18)
Detected text:[[643, 398], [1194, 398], [1194, 526], [643, 526]] 물어보세요 (Confidence: 0.81)
proc time : 0.9032175540924072

파일 시스템이란? NTFS와 exFAT 특징과 차이점

빗자루검 — Wed, 17 Apr 2024 14:10:34 +0900

도우에서 대용량 디스크를 포맷할때 항상 고민이 되는 부분입니다.

NTFS를 사용할 것인가? 아니면 exFAT를 사용할 것인가?

일단 파일 시스템이 무엇인지 알아보겠습니다.

1. 파일 시스템이란?

파일 시스템은 윈도우나 리눅스 OS에서 파일을 저장, 관리, 검색하는 방식을 정의하는 구조와 규칙의 집합입니다.

운영 체제는 파일 시스템을 사용하여 데이터를 디스크나 다른 저장 매체에 효율적으로 저장하고, 사용자가 쉽게 접근할 수 있도록 합니다.

파일 시스템의 주요 기능

(1) 데이터 저장

파일 시스템은 데이터를 파일 형태로 저장하고, 이 파일들을 폴더로 구분함

(2) 데이터 관리

파일에 대한 정보(생성일, 수정일, 크기 등)를 관리하고, 사용자 권한 설정을 통해 접근을 제어함

(3) 데이터 검색 및 접근

파일 시스템은 파일 이름, 경로 등을 사용하여 빠르게 데이터를 검색하고 접근할 수 있는 메커니즘을 제공

(4) 데이터 무결성

오류 발생 시 복구 메커니즘을 통해 데이터의 무결성을 유지

파일 시스템의 종류

(1) 디스크 기반 파일 시스템

하드 드라이브, SSD 등 물리적 저장 매체에 데이터를 저장함(NTFS, exFAT, FAT32, ext4, HFS...)

(2) 네트워크 파일 시스템

네트워크를 통해 여러 컴퓨터가 파일을 공유할 수 있도록 함(NFS, SMB/CIFS ..)

(3) 분산 파일 시스템

여러 머신에 걸쳐 파일을 분산시켜 저장하는 클라우드 스토리지(Google File System, Hadoop Distributed File System ..)

2. exFAT와 NTFS 비교

exFAT와 NTFS는 마이크로소프트에서 개발한 파일 시스템으로, 각각 다른 사용 목적과 환경을 위해 설계되었습니다.

두 시스템의 주요 차이점, 장점, 단점을 비교해보겠습니다.

(1) NTFS (New Technology File System)

장점

높은 보안성 - 파일과 폴더 단위로 권한을 설정할 수 있어 보안성이 좋음

데이터 복구 기능 - 트랜잭션 로그를 사용하여 시스템 충돌 후 데이터 복구가능

대용량 파일 지원 - 매우 큰 파일과 볼륨을 지원

압축 기능 - 디스크 공간을 절약하기 위해 파일 및 폴더를 압축 가능

단점

호환성 문제 - 주로 윈도우 시스템에서 사용되며, 맥이나 리눅스 등 다른 운영 체제에서는 제한적인 지원

복잡한 관리 - 파일 시스템의 고급 기능 때문에 관리가 복잡 (드라이브 저장 공간의 4%는 파일 시스템 자체에서 사용)

(2) exFAT (Extended File Allocation Table)

장점

호환성 - 윈도우 뿐만 아니라 맥 OS, 리눅스, 다양한 모바일 기기와 호환되어 교차 플랫폼 사용에 용이

간단한 구조 - NTFS보다 구조가 간단하여 작은 메모리를 사용하는 장치에서 효율적으로 작동

대용량 파일 및 볼륨 지원 - 매우 큰 파일과 저장장치를 지원하면서도 FAT32보다 개선된 성능을 제공

단점

보안 및 데이터 복구 기능 부재 - NTFS에 비해 보안 기능이나 데이터 복구 기능이 없음

압축이나 암호화 미지원 - 파일 압축이나 암호화를 미지원 (zip 파일 이야기가 아님. 파일 시스템 내부에서의 파일 압축)

결론적으로, NTFS는 데이터의 안전과 관리에 더 중점을 둔 복잡한 환경에서 사용하기 좋고, exFAT는 간단하고 광범위한 호환성이 요구되는 환경에서 사용하기 좋습니다.

만약 외장 하드 같은 것을 사용하면서 리눅스에도 마운트 했다가 윈도우에서도 쓰다가 하려면 exFAT가 더 편하다는 정도죠

GPT-4 Turbo 성능 및 API 가격 비교(chatGPT4, 타모델과 성능 비교)

빗자루검 — Thu, 11 Apr 2024 10:14:52 +0900

1. GPT-4 Turbo란?

GPT-4 터보는 GPT-4 출시 후 2023년 11월에 출시된 OpenAI의 최신 모델입니다.

다른 모델들이 2021년 까지의 정보를 제공하는 것과 달리
2023년 4월까지 최신 정보를 제공할 수 있는 것도 특징입니다.

여기에, 한 번의 프롬프트에 300페이지 분량의 텍스트를 넣을 수 있는 128k 컨텍스트를 지원합니다.

GPT4는 8K,32K를 지원했었죠.

2. API 가격 비교

이상하군요. context 입력이 128k로 늘어나고 23년 초까지의 데이터가 포함된 GPT-4 Turbo의 API 사용 가격이 훨씬 더 쌉니다.

그냥 싼것도 아니고 1/3 이하의 가격이네요

왜 그러지? 사용자가 Turbo로 넘어오게 하려는 정책일까요?

3. 성능 비교

google gemini API vision 모델을 이용한 이미지 해석 기초(제미나이, gemini-pro-vision)

빗자루검 — Thu, 4 Apr 2024 15:35:30 +0900

여기서는 google gemini API를 이용하여 vision 모델을 구동 시켜 보는 예제를 살펴 보겠습니다.

API 사용에 대한 기초는 다음을 참고.

https://yongeekd01.tistory.com/179

google gemini API 이용 개발 기초(제미나이 소개, API 사용준비, 모델들, gemini-pro, gemini-pro-vision)

yongeekd01.tistory.com

1. gemini-pro-vision 모델 사용 예제

Gemini는 텍스트와 이미지 및 입력을 모두 허용하는 멀티모달 모델(gemini-pro-vision)을 제공합니다. GenerativeModel.generate_content API는 멀티모달 프롬프트를 처리하고 텍스트 출력을 반환할 수 있습니다

gemini-pro-vision 모델을 사용, generate_content를 사용하여 모델에 이미지를 전달하고 그 결과를 확인하는 방법입니다.

처음에는 이미지만 모델에 전달하여 간단한 이미지 설명을 받아내고

두번째는 이미지에 대하여 추가적인 작업을 함께 프롬프트에 넣어 모델에 전달하여 결과를 받아오는 코드입니다.

import google.generativeai as genai

import os

import PIL.Image

# 환경 변수에서 GOOGLE_API_KEY를 가져와 변수에 저장

GOOGLE_API_KEY = os.getenv('GOOGLE_API_KEY')

# genai 모듈을 구성하고 API 키를 설정

genai.configure(api_key=GOOGLE_API_KEY)

# 'generateContent'를 지원하는 모델을 출력

for m in genai.list_models():

if 'generateContent' in m.supported_generation_methods:

print(m.name)

# 이미지 파일 열기

img = PIL.Image.open('./data/myImage.jpg')

# vision 모델 지정

model = genai.GenerativeModel('models/gemini-pro-vision')

# 이미지를 기반으로 콘텐츠 생성

response = model.generate_content(img)

print(response.text)

'''

숲속에 있는 벤치

'''

#이 이미지를 다루기 위해 프롬프트를 추가하려면 텍스트와 함께 전달 가능함

response = model.generate_content(["이 이미지를 이용해서 여행 광고 카피를 3줄로 4개만 작성해줘", img])

print(response.text)

'''

1. 나무 사이로 바람이 스쳐 지나가는 그늘 아래에서 휴식을 취하세요.

2. 도시의 소음에서 벗어나 나무와 함께하는 여행을 떠나세요.

3. 나무와 함께하는 여행은 마음의 평화를 찾을 수 있는 여행입니다.

4. 나무와 함께하는 여행은 새로운 자신을 발견할 수 있는 여행입니다.

'''

위와 같이 프롬프트에 텍스트와 이미지를 모두 제공하기 위해 목록을 전달할 수 있습니다.

잘 사용하면 여러가지로 응용할 수 있을 것 같습니다.

google gemini API text 모델을 이용한 개발 기초(제미나이, gemini-pro)

빗자루검 — Thu, 4 Apr 2024 15:27:34 +0900

여기서는 google gemini API를 이용하여 Text 모델을 구동 시켜 보는 예제를 살펴 보겠습니다.

API 사용에 대한 기초는 다음을 참고.

https://yongeekd01.tistory.com/179

google gemini API 이용 개발 기초(제미나이 소개, API 사용준비, 모델들, gemini-pro, gemini-pro-vision)

yongeekd01.tistory.com

1. gemini-pro 모델 사용 예제

GenerativeModel을 이용하여 원하는 텍스트 모델을 지정하고 GenerativeModel.generate_content 메서드에 프롬프트 문자열을 전달할 수 있습니다

1.0은 한글 처리가 아직 약간 부족한듯 합니다. preview 모델인 1.5는 한글 오류가 거의 없어진것 같더라고요.

import google.generativeai as genai

import os

# 환경 변수에서 GOOGLE_API_KEY를 가져와 변수에 저장

GOOGLE_API_KEY = os.getenv('GOOGLE_API_KEY')

# genai 모듈을 구성하고 API 키를 설정

genai.configure(api_key=GOOGLE_API_KEY)

# 'generateContent'를 지원하는 모델을 출력

for m in genai.list_models():

if 'generateContent' in m.supported_generation_methods:

print(m.name)

# gemini-pro 모델을 사용하여 GenerativeModel 객체 생성

model = genai.GenerativeModel('models/gemini-pro')

response = model.generate_content("Write a poem about flowers in English")

print(response.text)

response = model.generate_content("한국어로 꽃에 대한 시를 지어봐")

print(response.text)

'''

**Floral Symphony**

Oh, blooms of beauty, ephemeral and bright,

Your petals dance with colors, a wondrous sight.

From vibrant hues to whispers soft and sweet,

Your symphony of shades, a vibrant treat.

Your fragrance fills the air with sweet perfume,

A fragrant tapestry that weaves a timeless loom.

Each scent a melody, a whisper in the breeze,

Inviting hearts to find solace and ease.

Petals unfurl like secrets yet untold,

Soft as velvet, promising stories to be unrolled.

Veins of crimson, golden threads of light,

Nature's artistry, a celestial delight.

Like delicate dancers in a graceful ballet,

Your stems sway gently, following nature's sway.

From towering lilies to petite pansies fair,

Each bloom unique, beyond compare.

In gardens fair, you bloom with cheerful grace,

A vibrant canvas where beauty finds its place.

A symphony of colors, a feast for the eyes,

Flowers in bloom, a heavenly paradise.

꽃, 아름다운 꽃,

자연의 선물, 얼마나 화려한지.

꽃잎의 부드러움, 색깔의 밝음,

향기로운 향기, 마음을 사로잡는다.

봄이 오면 꽃이 핀다,

새로운 삶과 희망의 상징.

여름에는 꽃이 만발하다,

태양의 따뜻함과 비의 축복.

가을이 오면 꽃이 시든다,

그러나 겨울이 지나면 다시 피어난다.

꽃, 인내와 회복력의 상징,

삶의 끊임없는 순환을 상기시킨다.

너는 우리 마음에 기쁨을 주고,

우리 영혼을 고무한다.

꽃, 아름다운 꽃,

자연의 선물, 영원히 사랑받을 것이다.

'''

API가 결과를 반환하지 못하면 GenerateContentRespose.prompt_피드백을 사용하여 프롬프트와 관련된 안전 문제로 인해 차단되었는지 확인가능합니다.

response.prompt_feedback

safety_ratings {

category: HARM_CATEGORY_SEXUALLY_EXPLICIT

probability: NEGLIGIBLE

}

safety_ratings {

category: HARM_CATEGORY_HATE_SPEECH

probability: NEGLIGIBLE

}

safety_ratings {

category: HARM_CATEGORY_HARASSMENT

probability: NEGLIGIBLE

}

safety_ratings {

category: HARM_CATEGORY_DANGEROUS_CONTENT

probability: NEGLIGIBLE

}

google gemini API 이용 개발 기초(제미나이 소개, API 사용준비, 모델들, gemini-pro, gemini-pro-vision)

빗자루검 — Thu, 4 Apr 2024 15:04:22 +0900

1. Google gemini 소개

1.1 Gemini 개요

제미나이는 구글 AI에서 개발한 멀티모달 기반 대규모 언어 모델입니다.

텍스트, 이미지, 오디오, 동영상, 코드 등 다양한 형태의 정보를 이해하고 처리할 수 있는 능력을 가지고 있습니다

* Gemini 1.0은 3가지 모델로 제공됩니다.

- Gemini Ultra - 매우 복잡한 작업을 위한 가장 크고 성능이 뛰어난 모델

- Gemini Pro - 다양한 작업에 걸쳐 확장할 수 있는 모델

- Gemini Nano - 온디바이스 작업에 가장 효율적인 모델

Gemini 1.0 성능 벤치 마크 결과는 다음과 같다고 구글에서 발표했습니다. 수치상으로는 GPT-4를 앞지르는 것으로 보이지만

수치와 달리 실제 사용자 평가는 그다지 좋지 못했습니다.

구글에서 발표한 gemini에 대한 소개를 요약해서 옮기자면 아래와 같습니다.

지금까지 멀티모달 모델을 만드는 표준 접근 방식은 서로 다른 모달리티에 대해 별도의 구성 요소를 학습시킨 다음 이를 서로 연결하여 일부 기능을 대략적으로 모방하는 것이었지만 gemini는 처음부터 다양한 모달리티에 대해 사전 학습된 기본 멀티모달로 설계했습니다.

*정교한 추론

Gemini 1.0의 정교한 멀티모달 추론 기능은 복잡한 서면 및 시각적 정보를 이해하는 데 도움을 줍니다.

따라서 방대한 양의 데이터 속에서 식별하기 어려운 지식을 찾아내는 데 탁월한 능력을 발휘합니다.

*텍스트, 이미지, 오디오 등 이해

Gemini 1.0은 텍스트, 이미지, 오디오 등을 동시에 인식하고 이해하도록 학습되어 따라서 수학이나 물리와 같은 복잡한 과목의 추론을 설명하는 데 특히 능숙합니다.

*고급 코딩

Gemini의 첫 번째 버전은 Python, Java, C++, Go 등 세계에서 가장 인기 있는 프로그래밍 언어를 이해하고 설명하며 고품질 코드를 생성할 수 있습니다.

*책임과 안전을 핵심으로 구축

Google의 AI 원칙과 제품 전반에 걸친 강력한 안전 정책을 기반으로 Gemini의 복합적인 기능을 고려한 새로운 보호 기능을 추가하고 있습니다.

개발의 각 단계에서 잠재적인 위험을 고려하고 이를 테스트하고 완화하기 위해 노력하고 있습니다.

Gemini는 편향성 및 독성을 포함하여 지금까지 출시된 Google AI 모델 중 가장 포괄적인 안전성 평가를 거쳤습니다.

사이버 공격, 설득, 자율성과 같은 잠재적 위험 영역에 대한 새로운 연구를 수행했으며, Google Research의 업계 최고 수준의 적대적 테스트 기술을 적용하여 Gemini를 배포하기 전에 중요한 안전 문제를 식별하는 데 도움을 주고 있습니다.

1.2 Gemini 모델 개요

24년 4월 현재 gemini 1.5가 preview 된 상태입니다. 개발자 사이트에서 Google AI Studio를 이용하면 성능을 시험해볼수 있습니다.

현재 사이트에는 24년 5월 2일 부터 과금/오픈 예정이라고 쓰여 있습니다.

하지만 테스트를 해보니 API level에서는 아직 모델목록에 1.0 pro와 pro-vision만 사용가능한 것으로 보입니다.

다음은 모델 설명입니다.

1.3 gemini API 사용 해보기

1.3.1 API Key 준비 하기

Google AI Studio에서 생성 가능 합니다.

https://aistudio.google.com/app/apikey

로그인 - Google 계정

이메일 또는 휴대전화

accounts.google.com

구글 클라우드 프로젝트에 key를 연결하게 되어 있습니다.

없으면 기본적으로 Generative Language Client를 선택하도록 되어 있네요

지정 후 Create 하면 키가 생성됩니다.

이 키는 개발시 계속 사용하게 되므로 주의.

1.3.2 개발환경 준비

(1) 파이썬 설치

2024. 04월 현재 Python 3.9 이상 요구

> yum install python39-devel

(rocky 기준 설치)

(2) Google Python SDK for the Gemini API 패키지 설치

https://pypi.org/project/google-generativeai/

google-generativeai

Google Generative AI High level API client library and tools.

pypi.org

> pip3 install google-generativeai

>pip3 freeze |grep google

google-ai-generativelanguage==0.4.0

google-api-core==2.18.0

google-auth==2.29.0

google-generativeai==0.4.1

googleapis-common-protos==1.63.0

혹시 설치중 protobuf 패키지 버전이 너무 높아서 에러나면 5.0 이하로 재설치 해줄것

> pip3 install protobuf==4.25.3

(3) 환경 변수에 API Key 등록

리눅스 .bashrc 에 등록하면 매번 할 필요 없음,

외부 공개 안되도록 소스에 넣을때는 주의 할 것

.bashrc 파일에 생성된 key 값을 아래와 같이 추가하고 반영

> vi ~/.bashrc

export GOOGLE_API_KEY='your-api-key-here'

> source ~/.bashrc

소스에서는 아래처럼 하드코딩 해도 되지만 권장안함, 가능하면 환경 변수 사용할 것

OPENAI_API_KEY= your-api-key-here

# Or use `os.getenv('GOOGLE_API_KEY')` to fetch an environment variable.

GOOGLE_API_KEY=userdata.get('GOOGLE_API_KEY')

genai.configure(api_key=GOOGLE_API_KEY)

1.3.3 API 동작 시험 (API key 연동, 모델 목록보기)

(1) API 키 연동 확인

import google.generativeai as genai

import os

GOOGLE_API_KEY = os.getenv('GOOGLE_API_KEY')

genai.configure(api_key=GOOGLE_API_KEY)

print(genai)

혹시 이 단계에서 다음과 같은 에러가 나면 grpcio 설치할 것

No module named 'grpc'

File "/root/share/source/geminiAPI/00_api_check.py", line 1, in <module> import google.generativeai as genai ModuleNotFoundError: No module named 'grpc'

>pip3 install grpcio

Downloading grpcio-1.62.1-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (5.6 MB)

|████████████████████████████████| 5.6 MB 1.6 MB/s

Installing collected packages: grpcio

Successfully installed grpcio-1.62.1

(2) 사용가능한 모델 확인

list_models를 사용하여 사용 가능한 Gemini 모델을 확인

* gemini-pro: 텍스트 전용 프롬프트에 최적화

* gemini-pro-vision: 텍스트 및 이미지 프롬프트에 최적화

1.5는 아직 API 목록에서 표시안됨(5월2일 이후 예정)

import google.generativeai as genai

import os

GOOGLE_API_KEY = os.getenv('GOOGLE_API_KEY')

genai.configure(api_key=GOOGLE_API_KEY)

for m in genai.list_models():

if 'generateContent' in m.supported_generation_methods:

print(m.name)

다음처럼 6개의 모델이 현재 지원됩니다. (1.5는 유료)

models/gemini-1.0-pro

models/gemini-1.0-pro-001

models/gemini-1.0-pro-latest

models/gemini-1.0-pro-vision-latest

models/gemini-pro

models/gemini-pro-vision

여기까지 진행되면 사용준비가 끝난것입니다.

다음에는 실제 Text 모델과 Vision 모델을 호출하여 기능을 테스트해보도록 하겠습니다.

https://yongeekd01.tistory.com/180

google gemini API text 모델을 이용한 개발 기초(제미나이, gemini-pro)

yongeekd01.tistory.com

https://yongeekd01.tistory.com/181

google gemini API vision 모델을 이용한 이미지 해석 기초(제미나이, gemini-pro-vision)

여기서는 google gemini API를 이용하여 vision 모델을 구동 시켜 보는 예제를 살펴 보겠습니다. API 사용에 대한 기초는 다음을 참고. https://yongeekd01.tistory.com/179 google gemini API 이용 개발 기초(제미나이

yongeekd01.tistory.com

** 참고 :

https://ai.google.dev/docs?hl=ko

Gemini 문서 및 API 참조 | Google AI for Developers

Google Gemini API를 시작합니다. 빠른 시작, 가이드, API 문서

ai.google.dev