4. Comparing and selecting LLM models

4. Comparing and selecting LLM models

  • 이 글은 CloudNet@ 팀 gasida님의 스터디 local ai on mac 내용 및 실습으로 작성된 글입니다.

 

로컬 AI 스터디 4주차 — 핵심 기술: 첫 AI 챗봇 만들기


LLM 모델 계열(Model Families)

Open-weight LLM

  • Open-weight란 학습된 모델의 가중치(Weights)를 공개하여 사용자가 모델을 내려받고 직접 실행하거나 수정할 수 있도록 제공하는 형태다.

  • 일반적인 클라우드 AI와 달리 모델 가중치를 직접 확보하여 로컬 환경에서 추론(Inference)을 수행할 수 있다.

  • Open-weight와 Open-source의 차이

    • Open-weight: 모델의 학습된 가중치를 공개하여 내려받아 실행할 수 있는 형태
    • Open-source: 가중치뿐 아니라 소스 코드, 학습 방법 등 공개 범위와 라이선스까지 고려하는 개념
    • 오픈 웨이트라고 해서 반드시 모든 학습 데이터와 학습 과정이 공개된 것은 아니다.
Model 개발사 주요 특징
Llama Meta 범용 작업, 코딩, 추론
Gemma Google 작은 크기 대비 높은 성능, 효율성
Qwen Alibaba 다국어, 한국어·일본어, 코딩
Mistral Mistral AI 유럽 언어, 추론
DeepSeek DeepSeek AI 수학, 논리적 추론, MoE

 

 

모델 크기와 성능

  • 모델 이름에 표시되는 B는 Billion(10억)을 의미한다.
  • 일반적으로 모델 크기가 커지면 복잡한 작업을 처리할 능력이 높아질 수 있지만, 메모리 사용량과 추론 시간도 증가한다.
구분 설명
Parameter 학습을 통해 모델이 학습한 수치 값
B (Billion) 파라미터의 수를 나타내는 단위
Inference 학습된 모델을 이용해 답변을 생성하는 과정
Token 모델이 텍스트를 처리하는 기본 단위
TPS 초당 생성하는 토큰 수
Quantization 모델의 가중치 정밀도를 낮춰 메모리 사용량을 줄이는 기법

 

Quantization

모델 가중치의 정밀도를 낮춰 모델 크기와 메모리 사용량을 줄이는 기술이다.

방식 특징
FP16 높은 정밀도, 큰 메모리 사용량
INT8 메모리 사용량과 성능의 균형
Q4 메모리 사용량이 작아 로컬 환경에서 활용하기 좋음
  • 양자화 수준이 낮아질수록 메모리 요구량은 줄어들지만, 모델에 따라 품질 저하가 발생할 수 있다.

 

로컬 환경에서 모델 선택

모델 크기 특징 적합한 환경
2B~3B 가볍고 빠름 8GB RAM 이하
7B~9B 성능과 메모리의 균형 16GB RAM
14B 이상 복잡한 작업에 유리할 수 있음 충분한 RAM/VRAM
  • 실제 메모리 요구량은 양자화 방식, Context Window, KV Cache, 실행 환경에 따라 달라진다.
  • 무조건 큰 모델을 선택하기보다 사용 가능한 메모리와 작업 목적에 맞춰 선택해야 한다.

 

MoE (Mixture of Experts)

MoE는 여러 전문가(Expert) 네트워크 중 일부만 활성화하여 토큰을 처리하는 모델 구조다.

구분 설명
Dense Model 대부분의 모델 파라미터를 계산에 사용
MoE Model 여러 Expert 중 일부만 선택하여 계산
Total Parameters 모델이 보유한 전체 파라미터
Active Parameters 토큰 처리 시 실제 활성화되는 파라미터
  • 예를 들어 30B-A3B 모델은 전체 파라미터가 300억 개이고, 토큰을 처리할 때 약 30억 개가 활성화되는 구조를 의미한다.
  • MoE는 전체 모델 크기와 실제 연산량을 구분해서 이해해야 한다.

 

4. 모델별 다국어 능력

  • 모델의 다국어 성능은 학습 데이터와 모델 크기에 영향을 받는다.
모델 상대적인 강점
Qwen 한국어, 중국어, 일본어 등 아시아 언어
Llama 범용적인 다국어 작업
Gemma 범용 작업과 효율성
Mistral 프랑스어, 독일어 등 유럽 언어
DeepSeek 수학, 코딩, 추론
  • 실제 한국어 성능은 모델 버전과 크기에 따라 달라지므로 동일한 프롬프트로 직접 비교하는 것이 좋다.

 

 

System Prompt


  • System Prompt는 AI의 역할, 행동 방식, 답변 형식 등을 지정하는 지시문이다.

  • 모델의 가중치를 변경하는 것이 아니라, 모델이 응답을 생성할 때 참고하는 지침을 제공한다.

메시지 Role

Role 설명
system AI의 역할과 행동 규칙 정의
user 사용자가 입력하는 질문
assistant AI가 생성하는 응답
tool 외부 도구의 실행 결과

 

System Prompt 예시

You are an experienced infrastructure engineer.

- Explain technical concepts clearly.
- Provide practical examples.
- Use structured bullet points.
- If you are uncertain, do not guess.
- Always answer in Korean.

위와 같이 역할과 답변 규칙을 지정하면 동일한 모델이라도 응답 스타일을 다르게 만들 수 있다.

2. System Prompt 프리셋

프리셋 목적 특징
Business Consultant 비즈니스 분석 전문적이고 구조적인 답변
Study Buddy 학습 지원 쉬운 설명과 예시
Pirate Tutor 개성 있는 답변 특정 말투와 표현 사용
Coding Mentor 코딩 학습 질문을 통해 스스로 해결하도록 유도
Concise Expert 빠른 정보 확인 짧고 정확한 답변
  • System Prompt는 모델의 성격과 응답 방식을 조정하는 데 활용한다.

LLM 생성 파라미터

System Prompt가 AI의 역할을 정한다면, 생성 파라미터는 답변을 만들어 내는 방식을 조정한다.

파라미터 설명 특징
Temperature 다음 토큰 선택의 무작위성 조절 낮으면 일관적, 높으면 다양함
Top-K 확률이 높은 상위 K개 토큰만 후보로 사용 후보 범위 제한
Top-P 누적 확률이 P에 도달할 때까지 후보 선택 확률 기반 후보 범위 조절
Repeat Penalty 반복 토큰에 페널티 적용 반복 표현 감소
Num Predict 생성할 최대 토큰 수 설정 응답 길이 제한
Num Ctx 모델이 처리할 Context Window 크기 입력 및 대화 문맥 범위

 

Temperature

Temperature는 모델의 다음 토큰 선택 분포를 조정한다.

설정 특징 활용
낮음 비교적 일관적이고 예측 가능한 답변 기술 문서, 사실 확인
중간 일관성과 다양성의 균형 일반적인 대화
높음 다양한 표현과 창의적인 답변 아이디어 생성
  • Temperature가 낮다고 해서 답변의 정확성이 보장되는 것은 아니다.

 

Top-K와 Top-P

  • 두 파라미터는 답변 생성 시 선택 가능한 토큰의 범위를 조절한다.
  • Top-K: 확률이 높은 상위 K개의 토큰만 후보로 선택한다.
  • Top-P: 누적 확률이 설정한 P 값에 도달할 때까지 후보를 선택한다.

Repeat Penalty

  • 같은 단어나 표현이 반복되는 것을 줄이기 위한 설정이다.
  • 값 이 커지면 반복을 억제하는 효과가 강해질 수 있지만, 지나치면 자연스러운 표현에도 영향을 줄 수 있다.
repeat_penalty = 1.1

 

 

4. Ollama Modelfile


  • Modelfile은 Ollama에서 모델의 기본 설정과 동작 방식을 정의하는 파일이다.
FROM qwen3.5:4b

SYSTEM """
You are an experienced infrastructure engineer.
Always answer in Korean.
Explain concepts with practical examples.
"""

PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER num_ctx 8192
# 사용자 정의 모델 생성
ollama create qwen3:30b-ko -f Modelfile

# 실행
ollama run qwen3:30b-ko
구성 요소 역할
FROM 기반 모델 지정
SYSTEM 시스템 프롬프트 지정
PARAMETER 생성 파라미터 설정
TEMPLATE 메시지 입력 형식 정의

 

 

챗봇에서 활용


  • Streamlit과 Ollama를 연결하면 웹 인터페이스에서 모델과 생성 설정을 선택할 수 있다.

  • System Prompt는 답변의 방향을, 생성 파라미터는 답변 생성 방식을 조정한다.

flowchart TD
    A[사용자 입력] --> B[Streamlit]
    B --> C[System Prompt]
    C --> D[Ollama API]
    D --> E[LLM 모델]
    E --> F[생성 파라미터 적용]
    F --> G[응답 반환]
    G --> B

 

 

Local LLM이란?


  • Local LLM은 외부 클라우드 AI 서비스를 호출하지 않고, 사용자 소유의 컴퓨터나 서버에서 직접 실행하는 LLM이다.
구분 Local LLM Cloud LLM
실행 위치 로컬 PC 또는 자체 서버 외부 클라우드
데이터 처리 자체 환경에서 처리 가능 서비스 제공자 환경에서 처리
네트워크 모델 다운로드 이후 오프라인 실행 가능 일반적으로 인터넷 필요
비용 초기 하드웨어 및 운영 비용 사용량 기반 비용 등
성능 하드웨어 성능에 영향 서비스 제공자의 인프라에 영향
관리 직접 설치 및 유지보수 제공자 관리 범위에 의존

 

보안 및 개인정보 보호

  • Local LLM은 외부 서비스로 데이터를 전송하지 않는 구조를 만들 수 있다는 장점이 있다.
항목 설명
Privacy 데이터가 외부 서비스로 전송되는 위험 감소
Data Control 데이터 저장 및 접근 정책을 직접 관리
Offline Operation 인터넷이 차단된 환경에서도 실행 가능
Security 모델과 실행 환경에 대한 보안 관리 필요
  • 모델 파일의 출처와 무결성 확인

  • API 접근 제어 및 인증 설정

  • 로그와 대화 기록 관리

  • 모델 파일 및 시스템 업데이트 관리

  • 민감 정보의 입력 및 출력 통제

 

비용 및 TCO

  • TCO(Total Cost of Ownership)는 시스템을 도입하고 운영하는 데 발생하는 전체 비용이다.
  • Local LLM은 초기 투자 비용이 발생하지만, 사용량이 많고 장기간 운영할 경우 비용 측면에서 유리할 수 있다.
  • 반대로 사용량이 적다면 Cloud LLM이 더 경제적일 수 있다.
구분 주요 비용
초기 비용 GPU, RAM, 서버, 스토리지
운영 비용 전력, 냉각, 유지보수
인력 비용 설치, 관리, 모니터링
Cloud 비용 API 호출량, 토큰 사용량, 서비스 구독료

 

Local AI 활용 분야

분야 활용 예시
개발 코드 생성, 코드 리뷰, 문서 작성
인프라 운영 로그 분석, 장애 원인 분석, 명령어 지원
보안 내부 보안 문서 분석, 취약점 정보 정리
기업 업무 사내 문서 검색, 지식 관리
교육 개인 학습 도우미, 프로그래밍 튜터

 

Hybrid AI

  • Hybrid AI는 Local LLM과 Cloud LLM을 함께 사용하는 방식이다.
구분 처리 방식
민감 정보 Local LLM
단순 반복 작업 Local LLM
복잡한 추론 Cloud LLM 활용 가능
대규모 처리 비용과 성능을 고려해 선택
flowchart TD
    A[사용자 요청] --> B{요청 유형 판단}
    B -->|민감 정보| C[Local LLM]
    B -->|일반 작업| D{작업 난이도}
    D -->|단순 작업| C
    D -->|복잡한 작업| E[Cloud LLM]
    C --> F[응답 반환]
    E --> F

 

 

핵심 내용 정리정리

구분 키워드 핵심 내용
모델 Llama, Gemma, Qwen, Mistral, DeepSeek 대표적인 오픈 웨이트 모델 계열
모델 구조 Dense, MoE 전체 파라미터와 활성 파라미터 구분
모델 크기 Parameter, B 모델의 파라미터 수
최적화 Quantization 가중치 정밀도를 낮춰 메모리 절약
성능 TPS, Benchmark 생성 속도 및 작업별 성능 평가
다국어 Multilingual 학습 데이터에 따른 언어별 성능 차이
실행 Ollama 로컬 LLM 다운로드 및 실행
역할 설정 System Prompt AI의 역할과 응답 방식 지정
메시지 system, user, assistant 대화 메시지의 역할 구분
생성 제어 Temperature 응답 생성의 다양성 조절
생성 제어 Top-K, Top-P 다음 토큰의 후보 범위 조절
반복 제어 Repeat Penalty 반복 표현 억제
문맥 Context Window 모델이 처리할 수 있는 문맥 범위
설정 Modelfile Ollama 모델의 설정 및 사용자 정의
로컬 AI Local LLM 자체 하드웨어에서 모델 실행
보안 Privacy, Security 데이터 보호 및 접근 통제
비용 TCO 도입부터 운영까지의 전체 비용
아키텍처 Hybrid AI Local LLM과 Cloud LLM의 조합

핵심 개념 정리

  • 모델마다 강점이 다르며, 모델 크기와 메모리 요구량을 고려해 사용 목적에 맞는 모델을 선택한다.

  • System Prompt로 AI의 역할을 설정하고, Temperature와 Top-K 등의 파라미터로 답변 생성 방식을 조정한다.

  • Local LLM은 데이터 통제와 오프라인 운영에 유리하지만, 하드웨어와 보안 운영을 직접 관리해야 한다.

  • 결국 로컬 AI를 구축할 때는 모델 선택 → 실행 환경 구성 → 프롬프트 및 파라미터 설정 → 서비스 개발 → 보안 및 운영 순서로 접근하면 된다.

 

 

도전 과제

  • 챕터 별 연습문제 풀기

    • 비행기 모드 테스트 -> 인터넷 없어도 동작이 가능
    • 데이터 흐름 감사 -> 개인정보관련 데이터는 없음, 10건 전부 로컬로 전환 가능했으나, 신기술이나 트러블 슈팅 ( 깃 이슈 조사 )등은 클라우드가 보다 좋았음
    • 비용 계산 -> 현재 환경에서는 Local AI가 비용 효율적이다. 이미 Mac M1 Max 32GB를 보유하고 있고 20B~30B 모델까지 실행할 수 있으므로, 7B 모델을 실행하기 위한 추가 하드웨어 비용이 발생하지 않는다.
    • 개인정보 처리방침
      • ChatGPT는 사용자의 대화 데이터를 서비스 제공과 보안 등의 목적으로 처리하며, 일반 대화는 사용자가 삭제할 때까지 보관될 수 있고 삭제 후에는 원칙적으로 30일 이내 삭제된다. 개인용 계정의 대화 내용은 설정에 따라 모델 개선에 활용될 수 있지만, 사용자는 데이터 제어 설정을 통해 이를 거부할 수 있다. 또한 제한된 권한을 가진 직원과 서비스 제공업체가 보안 사고 조사, 고객 지원, 법적 의무 이행 등의 목적으로 대화에 접근할 수 있다. 데이터는 미국 및 여러 국가의 시스템에 저장될 수 있으므로, 민감한 업무 정보는 입력하지 않는 것이 바람직하다. 기업 인수나 파산 등의 상황에서는 개인정보가 승계 법인으로 이전될 가능성도 있으므로 데이터 처리 및 보관 정책을 확인할 필요가 있다.
    • 사용 사례 분석 -> 보안 모니터링은 운영 중인 서버, 네트워크 및 애플리케이션에서 발생하는 로그와 보안 이벤트를 지속적으로 수집하고 분석하여 이상 징후와 보안 위협을 탐지하는 업무이며, 대부분 24h로 운영되고 있는 데, AI를 활용하면 대량의 로그를 빠르게 분석하고, 평소와 다른 접근 패턴이나 비정상적인 시스템 동작을 식별하여 보안 담당자의 분석 및 대응 업무를 보조할 수 있다
  • 도전과제 자신의 mac Spec 의 최대 한계 모델을 구동해보기, 특히 RAM 용량을 넘기는 모델 기동 시도(실패) 결과 직접 확인해보기

 mung 🦄   ~/Desktop/blog   main ±  ollama run qwen3:30b
>>> 쿠버네티스의 전체 아키텍처와 Pod 간 통신 과정을 자세하게 설명해 줘.
Thinking...
Okay, I need to explain Kubernetes' entire architecture and the process of communication between Pods in detail. Let me start by recalling what I know about Kubernetes.

First, Kubernetes is a container orchestration platform. It manages containers across a cluster of machines. The main components are the control plane and the worker nodes. The control plane includes components like API Server, etcd,
Controller Manager, Scheduler, and maybe others like Cloud Controller Manager. Worker nodes have the kubelet, kube-proxy, and container runtime like containerd or Docker.

Wait, the user wants the entire architecture. So I should outline all the main components. Let me list them out:

Control Plane:
- API Server: The front-end for the Kubernetes API, handles all REST requests.
- etcd: A distributed key-value store that holds the cluster's configuration data.
- Controller Manager: Runs controllers that regulate the cluster's state, like node controllers, replication controllers.
- Scheduler: Assigns pods to nodes based on resource requirements and constraints.
- Cloud Controller Manager: Handles cloud-specific operations, like load balancers.


 mung 🍻   ~  ollama run llama3.3:70b
pulling manifest
pulling 4824460d29f2: 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ ▏  42 GB/ 42 GB  5.5 MB/s      0s
pulling c7091aa45e9b: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  562 B
verifying sha256 digest
writing manifest
success
>>> 쿠버네티스의 전체 아키텍처와 Pod 간 통신 과정을 자세하게 설명해 줘.
쿠버네티스 전체^C>>>
Use Ctrl + d or /bye to exit.
>>>
  • 동작은 하지만, 매우 느린 속도로 사실상 사용이 안됨.
  • 노트북 메모리가 32G이지만 아래 이미지처럼 40G 사용 출력 ?

alt text

  • 도전과제 각자 Streamlit 챗봇을 원하는 형태로 커스터마이징 해보기

 

마지막 수정일자