4. Comparing and selecting LLM models
- 이 글은 CloudNet@ 팀 gasida님의 스터디 local ai on mac 내용 및 실습으로 작성된 글입니다.
로컬 AI 스터디 4주차 — 핵심 기술: 첫 AI 챗봇 만들기
LLM 모델 계열(Model Families)
Open-weight LLM
-
Open-weight란 학습된 모델의 가중치(Weights)를 공개하여 사용자가 모델을 내려받고 직접 실행하거나 수정할 수 있도록 제공하는 형태다.
-
일반적인 클라우드 AI와 달리 모델 가중치를 직접 확보하여 로컬 환경에서 추론(Inference)을 수행할 수 있다.
-
Open-weight와 Open-source의 차이
- Open-weight: 모델의 학습된 가중치를 공개하여 내려받아 실행할 수 있는 형태
- Open-source: 가중치뿐 아니라 소스 코드, 학습 방법 등 공개 범위와 라이선스까지 고려하는 개념
- 오픈 웨이트라고 해서 반드시 모든 학습 데이터와 학습 과정이 공개된 것은 아니다.
| Model | 개발사 | 주요 특징 |
|---|---|---|
| Llama | Meta | 범용 작업, 코딩, 추론 |
| Gemma | 작은 크기 대비 높은 성능, 효율성 | |
| Qwen | Alibaba | 다국어, 한국어·일본어, 코딩 |
| Mistral | Mistral AI | 유럽 언어, 추론 |
| DeepSeek | DeepSeek AI | 수학, 논리적 추론, MoE |
모델 크기와 성능
- 모델 이름에 표시되는 B는 Billion(10억)을 의미한다.
- 일반적으로 모델 크기가 커지면 복잡한 작업을 처리할 능력이 높아질 수 있지만, 메모리 사용량과 추론 시간도 증가한다.
| 구분 | 설명 |
|---|---|
| Parameter | 학습을 통해 모델이 학습한 수치 값 |
| B (Billion) | 파라미터의 수를 나타내는 단위 |
| Inference | 학습된 모델을 이용해 답변을 생성하는 과정 |
| Token | 모델이 텍스트를 처리하는 기본 단위 |
| TPS | 초당 생성하는 토큰 수 |
| Quantization | 모델의 가중치 정밀도를 낮춰 메모리 사용량을 줄이는 기법 |
Quantization
모델 가중치의 정밀도를 낮춰 모델 크기와 메모리 사용량을 줄이는 기술이다.
| 방식 | 특징 |
|---|---|
| FP16 | 높은 정밀도, 큰 메모리 사용량 |
| INT8 | 메모리 사용량과 성능의 균형 |
| Q4 | 메모리 사용량이 작아 로컬 환경에서 활용하기 좋음 |
- 양자화 수준이 낮아질수록 메모리 요구량은 줄어들지만, 모델에 따라 품질 저하가 발생할 수 있다.
로컬 환경에서 모델 선택
| 모델 크기 | 특징 | 적합한 환경 |
|---|---|---|
| 2B~3B | 가볍고 빠름 | 8GB RAM 이하 |
| 7B~9B | 성능과 메모리의 균형 | 16GB RAM |
| 14B 이상 | 복잡한 작업에 유리할 수 있음 | 충분한 RAM/VRAM |
- 실제 메모리 요구량은 양자화 방식, Context Window, KV Cache, 실행 환경에 따라 달라진다.
- 무조건 큰 모델을 선택하기보다 사용 가능한 메모리와 작업 목적에 맞춰 선택해야 한다.
MoE (Mixture of Experts)
MoE는 여러 전문가(Expert) 네트워크 중 일부만 활성화하여 토큰을 처리하는 모델 구조다.
| 구분 | 설명 |
|---|---|
| Dense Model | 대부분의 모델 파라미터를 계산에 사용 |
| MoE Model | 여러 Expert 중 일부만 선택하여 계산 |
| Total Parameters | 모델이 보유한 전체 파라미터 |
| Active Parameters | 토큰 처리 시 실제 활성화되는 파라미터 |
- 예를 들어
30B-A3B모델은 전체 파라미터가 300억 개이고, 토큰을 처리할 때 약 30억 개가 활성화되는 구조를 의미한다. - MoE는 전체 모델 크기와 실제 연산량을 구분해서 이해해야 한다.
4. 모델별 다국어 능력
- 모델의 다국어 성능은 학습 데이터와 모델 크기에 영향을 받는다.
| 모델 | 상대적인 강점 |
|---|---|
| Qwen | 한국어, 중국어, 일본어 등 아시아 언어 |
| Llama | 범용적인 다국어 작업 |
| Gemma | 범용 작업과 효율성 |
| Mistral | 프랑스어, 독일어 등 유럽 언어 |
| DeepSeek | 수학, 코딩, 추론 |
- 실제 한국어 성능은 모델 버전과 크기에 따라 달라지므로 동일한 프롬프트로 직접 비교하는 것이 좋다.
System Prompt
-
System Prompt는 AI의 역할, 행동 방식, 답변 형식 등을 지정하는 지시문이다.
-
모델의 가중치를 변경하는 것이 아니라, 모델이 응답을 생성할 때 참고하는 지침을 제공한다.
메시지 Role
| Role | 설명 |
|---|---|
| system | AI의 역할과 행동 규칙 정의 |
| user | 사용자가 입력하는 질문 |
| assistant | AI가 생성하는 응답 |
| tool | 외부 도구의 실행 결과 |
System Prompt 예시
You are an experienced infrastructure engineer.
- Explain technical concepts clearly.
- Provide practical examples.
- Use structured bullet points.
- If you are uncertain, do not guess.
- Always answer in Korean.위와 같이 역할과 답변 규칙을 지정하면 동일한 모델이라도 응답 스타일을 다르게 만들 수 있다.
2. System Prompt 프리셋
| 프리셋 | 목적 | 특징 |
|---|---|---|
| Business Consultant | 비즈니스 분석 | 전문적이고 구조적인 답변 |
| Study Buddy | 학습 지원 | 쉬운 설명과 예시 |
| Pirate Tutor | 개성 있는 답변 | 특정 말투와 표현 사용 |
| Coding Mentor | 코딩 학습 | 질문을 통해 스스로 해결하도록 유도 |
| Concise Expert | 빠른 정보 확인 | 짧고 정확한 답변 |
- System Prompt는 모델의 성격과 응답 방식을 조정하는 데 활용한다.
LLM 생성 파라미터
System Prompt가 AI의 역할을 정한다면, 생성 파라미터는 답변을 만들어 내는 방식을 조정한다.
| 파라미터 | 설명 | 특징 |
|---|---|---|
| Temperature | 다음 토큰 선택의 무작위성 조절 | 낮으면 일관적, 높으면 다양함 |
| Top-K | 확률이 높은 상위 K개 토큰만 후보로 사용 | 후보 범위 제한 |
| Top-P | 누적 확률이 P에 도달할 때까지 후보 선택 | 확률 기반 후보 범위 조절 |
| Repeat Penalty | 반복 토큰에 페널티 적용 | 반복 표현 감소 |
| Num Predict | 생성할 최대 토큰 수 설정 | 응답 길이 제한 |
| Num Ctx | 모델이 처리할 Context Window 크기 | 입력 및 대화 문맥 범위 |
Temperature
Temperature는 모델의 다음 토큰 선택 분포를 조정한다.
| 설정 | 특징 | 활용 |
|---|---|---|
| 낮음 | 비교적 일관적이고 예측 가능한 답변 | 기술 문서, 사실 확인 |
| 중간 | 일관성과 다양성의 균형 | 일반적인 대화 |
| 높음 | 다양한 표현과 창의적인 답변 | 아이디어 생성 |
- Temperature가 낮다고 해서 답변의 정확성이 보장되는 것은 아니다.
Top-K와 Top-P
- 두 파라미터는 답변 생성 시 선택 가능한 토큰의 범위를 조절한다.
- Top-K: 확률이 높은 상위 K개의 토큰만 후보로 선택한다.
- Top-P: 누적 확률이 설정한 P 값에 도달할 때까지 후보를 선택한다.
Repeat Penalty
- 같은 단어나 표현이 반복되는 것을 줄이기 위한 설정이다.
- 값 이 커지면 반복을 억제하는 효과가 강해질 수 있지만, 지나치면 자연스러운 표현에도 영향을 줄 수 있다.
repeat_penalty = 1.1
4. Ollama Modelfile
- Modelfile은 Ollama에서 모델의 기본 설정과 동작 방식을 정의하는 파일이다.
FROM qwen3.5:4b
SYSTEM """
You are an experienced infrastructure engineer.
Always answer in Korean.
Explain concepts with practical examples.
"""
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER num_ctx 8192# 사용자 정의 모델 생성
ollama create qwen3:30b-ko -f Modelfile
# 실행
ollama run qwen3:30b-ko| 구성 요소 | 역할 |
|---|---|
| FROM | 기반 모델 지정 |
| SYSTEM | 시스템 프롬프트 지정 |
| PARAMETER | 생성 파라미터 설정 |
| TEMPLATE | 메시지 입력 형식 정의 |
챗봇에서 활용
-
Streamlit과 Ollama를 연결하면 웹 인터페이스에서 모델과 생성 설정을 선택할 수 있다.
-
System Prompt는 답변의 방향을, 생성 파라미터는 답변 생성 방식을 조정한다.
flowchart TD
A[사용자 입력] --> B[Streamlit]
B --> C[System Prompt]
C --> D[Ollama API]
D --> E[LLM 모델]
E --> F[생성 파라미터 적용]
F --> G[응답 반환]
G --> B
Local LLM이란?
- Local LLM은 외부 클라우드 AI 서비스를 호출하지 않고, 사용자 소유의 컴퓨터나 서버에서 직접 실행하는 LLM이다.
| 구분 | Local LLM | Cloud LLM |
|---|---|---|
| 실행 위치 | 로컬 PC 또는 자체 서버 | 외부 클라우드 |
| 데이터 처리 | 자체 환경에서 처리 가능 | 서비스 제공자 환경에서 처리 |
| 네트워크 | 모델 다운로드 이후 오프라인 실행 가능 | 일반적으로 인터넷 필요 |
| 비용 | 초기 하드웨어 및 운영 비용 | 사용량 기반 비용 등 |
| 성능 | 하드웨어 성능에 영향 | 서비스 제공자의 인프라에 영향 |
| 관리 | 직접 설치 및 유지보수 | 제공자 관리 범위에 의존 |
보안 및 개인정보 보호
- Local LLM은 외부 서비스로 데이터를 전송하지 않는 구조를 만들 수 있다는 장점이 있다.
| 항목 | 설명 |
|---|---|
| Privacy | 데이터가 외부 서비스로 전송되는 위험 감소 |
| Data Control | 데이터 저장 및 접근 정책을 직접 관리 |
| Offline Operation | 인터넷이 차단된 환경에서도 실행 가능 |
| Security | 모델과 실행 환경에 대한 보안 관리 필요 |
-
모델 파일의 출처와 무결성 확인
-
API 접근 제어 및 인증 설정
-
로그와 대화 기록 관리
-
모델 파일 및 시스템 업데이트 관리
-
민감 정보의 입력 및 출력 통제
비용 및 TCO
- TCO(Total Cost of Ownership)는 시스템을 도입하고 운영하는 데 발생하는 전체 비용이다.
- Local LLM은 초기 투자 비용이 발생하지만, 사용량이 많고 장기간 운영할 경우 비용 측면에서 유리할 수 있다.
- 반대로 사용량이 적다면 Cloud LLM이 더 경제적일 수 있다.
| 구분 | 주요 비용 |
|---|---|
| 초기 비용 | GPU, RAM, 서버, 스토리지 |
| 운영 비용 | 전력, 냉각, 유지보수 |
| 인력 비용 | 설치, 관리, 모니터링 |
| Cloud 비용 | API 호출량, 토큰 사용량, 서비스 구독료 |
Local AI 활용 분야
| 분야 | 활용 예시 |
|---|---|
| 개발 | 코드 생성, 코드 리뷰, 문서 작성 |
| 인프라 운영 | 로그 분석, 장애 원인 분석, 명령어 지원 |
| 보안 | 내부 보안 문서 분석, 취약점 정보 정리 |
| 기업 업무 | 사내 문서 검색, 지식 관리 |
| 교육 | 개인 학습 도우미, 프로그래밍 튜터 |
Hybrid AI
- Hybrid AI는 Local LLM과 Cloud LLM을 함께 사용하는 방식이다.
| 구분 | 처리 방식 |
|---|---|
| 민감 정보 | Local LLM |
| 단순 반복 작업 | Local LLM |
| 복잡한 추론 | Cloud LLM 활용 가능 |
| 대규모 처리 | 비용과 성능을 고려해 선택 |
flowchart TD
A[사용자 요청] --> B{요청 유형 판단}
B -->|민감 정보| C[Local LLM]
B -->|일반 작업| D{작업 난이도}
D -->|단순 작업| C
D -->|복잡한 작업| E[Cloud LLM]
C --> F[응답 반환]
E --> F
핵심 내용 정리정리
| 구분 | 키워드 | 핵심 내용 |
|---|---|---|
| 모델 | Llama, Gemma, Qwen, Mistral, DeepSeek | 대표적인 오픈 웨이트 모델 계열 |
| 모델 구조 | Dense, MoE | 전체 파라미터와 활성 파라미터 구분 |
| 모델 크기 | Parameter, B | 모델의 파라미터 수 |
| 최적화 | Quantization | 가중치 정밀도를 낮춰 메모리 절약 |
| 성능 | TPS, Benchmark | 생성 속도 및 작업별 성능 평가 |
| 다국어 | Multilingual | 학습 데이터에 따른 언어별 성능 차이 |
| 실행 | Ollama | 로컬 LLM 다운로드 및 실행 |
| 역할 설정 | System Prompt | AI의 역할과 응답 방식 지정 |
| 메시지 | system, user, assistant | 대화 메시지의 역할 구분 |
| 생성 제어 | Temperature | 응답 생성의 다양성 조절 |
| 생성 제어 | Top-K, Top-P | 다음 토큰의 후보 범위 조절 |
| 반복 제어 | Repeat Penalty | 반복 표현 억제 |
| 문맥 | Context Window | 모델이 처리할 수 있는 문맥 범위 |
| 설정 | Modelfile | Ollama 모델의 설정 및 사용자 정의 |
| 로컬 AI | Local LLM | 자체 하드웨어에서 모델 실행 |
| 보안 | Privacy, Security | 데이터 보호 및 접근 통제 |
| 비용 | TCO | 도입부터 운영까지의 전체 비용 |
| 아키텍처 | Hybrid AI | Local LLM과 Cloud LLM의 조합 |
핵심 개념 정리
-
모델마다 강점이 다르며, 모델 크기와 메모리 요구량을 고려해 사용 목적에 맞는 모델을 선택한다.
-
System Prompt로 AI의 역할을 설정하고, Temperature와 Top-K 등의 파라미터로 답변 생성 방식을 조정한다.
-
Local LLM은 데이터 통제와 오프라인 운영에 유리하지만, 하드웨어와 보안 운영을 직접 관리해야 한다.
-
결국 로컬 AI를 구축할 때는 모델 선택 → 실행 환경 구성 → 프롬프트 및 파라미터 설정 → 서비스 개발 → 보안 및 운영 순서로 접근하면 된다.
도전 과제
-
챕터 별 연습문제 풀기
- 비행기 모드 테스트 -> 인터넷 없어도 동작이 가능
- 데이터 흐름 감사 -> 개인정보관련 데이터는 없음, 10건 전부 로컬로 전환 가능했으나, 신기술이나 트러블 슈팅 ( 깃 이슈 조사 )등은 클라우드가 보다 좋았음
- 비용 계산 -> 현재 환경에서는 Local AI가 비용 효율적이다. 이미 Mac M1 Max 32GB를 보유하고 있고 20B~30B 모델까지 실행할 수 있으므로, 7B 모델을 실행하기 위한 추가 하드웨어 비용이 발생하지 않는다.
- 개인정보 처리방침
- ChatGPT는 사용자의 대화 데이터를 서비스 제공과 보안 등의 목적으로 처리하며, 일반 대화는 사용자가 삭제할 때까지 보관될 수 있고 삭제 후에는 원칙적으로 30일 이내 삭제된다. 개인용 계정의 대화 내용은 설정에 따라 모델 개선에 활용될 수 있지만, 사용자는 데이터 제어 설정을 통해 이를 거부할 수 있다. 또한 제한된 권한을 가진 직원과 서비스 제공업체가 보안 사고 조사, 고객 지원, 법적 의무 이행 등의 목적으로 대화에 접근할 수 있다. 데이터는 미국 및 여러 국가의 시스템에 저장될 수 있으므로, 민감한 업무 정보는 입력하지 않는 것이 바람직하다. 기업 인수나 파산 등의 상황에서는 개인정보가 승계 법인으로 이전될 가능성도 있으므로 데이터 처리 및 보관 정책을 확인할 필요가 있다.
- 사용 사례 분석 -> 보안 모니터링은 운영 중인 서버, 네트워크 및 애플리케이션에서 발생하는 로그와 보안 이벤트를 지속적으로 수집하고 분석하여 이상 징후와 보안 위협을 탐지하는 업무이며, 대부분 24h로 운영되고 있는 데, AI를 활용하면 대량의 로그를 빠르게 분석하고, 평소와 다른 접근 패턴이나 비정상적인 시스템 동작을 식별하여 보안 담당자의 분석 및 대응 업무를 보조할 수 있다
-
도전과제자신의 mac Spec 의 최대 한계 모델을 구동해보기, 특히 RAM 용량을 넘기는 모델 기동 시도(실패) 결과 직접 확인해보기
mung 🦄 ~/Desktop/blog main ± ollama run qwen3:30b
>>> 쿠버네티스의 전체 아키텍처와 Pod 간 통신 과정을 자세하게 설명해 줘.
Thinking...
Okay, I need to explain Kubernetes' entire architecture and the process of communication between Pods in detail. Let me start by recalling what I know about Kubernetes.
First, Kubernetes is a container orchestration platform. It manages containers across a cluster of machines. The main components are the control plane and the worker nodes. The control plane includes components like API Server, etcd,
Controller Manager, Scheduler, and maybe others like Cloud Controller Manager. Worker nodes have the kubelet, kube-proxy, and container runtime like containerd or Docker.
Wait, the user wants the entire architecture. So I should outline all the main components. Let me list them out:
Control Plane:
- API Server: The front-end for the Kubernetes API, handles all REST requests.
- etcd: A distributed key-value store that holds the cluster's configuration data.
- Controller Manager: Runs controllers that regulate the cluster's state, like node controllers, replication controllers.
- Scheduler: Assigns pods to nodes based on resource requirements and constraints.
- Cloud Controller Manager: Handles cloud-specific operations, like load balancers.
mung 🍻 ~ ollama run llama3.3:70b
pulling manifest
pulling 4824460d29f2: 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ ▏ 42 GB/ 42 GB 5.5 MB/s 0s
pulling c7091aa45e9b: 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 562 B
verifying sha256 digest
writing manifest
success
>>> 쿠버네티스의 전체 아키텍처와 Pod 간 통신 과정을 자세하게 설명해 줘.
쿠버네티스 전체^C>>>
Use Ctrl + d or /bye to exit.
>>>- 동작은 하지만, 매우 느린 속도로 사실상 사용이 안됨.
- 노트북 메모리가 32G이지만 아래 이미지처럼 40G 사용 출력 ?

도전과제각자 Streamlit 챗봇을 원하는 형태로 커스터마이징 해보기