local-ai on Astroicers Blog

PrivateGPT 本地私有 RAG 系統

Sat, 09 May 2026 00:00:00 +0000

專案簡介

PrivateGPT 是一個完全私有的 RAG（檢索增強生成）系統，讓你與文件對話而不需要網路連線。所有資料處理都在本地進行，適合處理敏感或機密文件。

GitHub Stars: 57K+

主要功能

完全離線 - 無需網路連線
隱私優先 - 資料不離開本地
多格式支援 - PDF、Word、Markdown、程式碼
多模型 - Ollama、llama.cpp、HuggingFace
API 相容 - OpenAI 格式 API

安裝

Poetry 安裝

1
2
3
4
5
6
7
8


git clone https://github.com/zylon-ai/private-gpt
cd private-gpt

# 安裝依賴
poetry install --extras "ui llms-llama-cpp embeddings-huggingface vector-stores-qdrant"

# 下載模型
poetry run python scripts/setup

快速安裝

1
2


# 使用 Ollama
poetry install --extras "ui llms-ollama embeddings-ollama vector-stores-qdrant"

啟動

啟動服務

1
2
3
4
5


# 啟動 API 和 UI
PGPT_PROFILES=local make run

# 僅 API
poetry run python -m private_gpt

訪問 http://localhost:8001

設定檔

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


# settings-local.yaml
server:
 env_name: local
 port: 8001

llm:
 mode: ollama
 ollama:
 model: llama3.3
 api_base: http://localhost:11434

embedding:
 mode: ollama
 ollama:
 model: nomic-embed-text

上傳文件

支援格式

PDF
Word (.docx)
PowerPoint (.pptx)
Markdown
純文字
程式碼檔案

透過 UI 上傳

開啟網頁介面
點擊「Upload」
選擇檔案
等待處理完成

透過 API 上傳

1
2
3


curl -X POST "http://localhost:8001/v1/ingest/file" \
 -H "Content-Type: multipart/form-data" \
 -F "file=@document.pdf"

Python 上傳

1
2
3
4
5
6
7


import requests

with open("document.pdf", "rb") as f:
 response = requests.post(
 "http://localhost:8001/v1/ingest/file",
 files={"file": f}
 )

對話查詢

UI 查詢

直接在網頁介面輸入問題。

API 查詢

1
2
3
4
5
6
7
8


curl -X POST "http://localhost:8001/v1/chat/completions" \
 -H "Content-Type: application/json" \
 -d '{
 "messages": [
 {"role": "user", "content": "這份文件的主要內容是什麼？"}
 ],
 "use_context": true
 }'

Python 整合

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


from openai import OpenAI

client = OpenAI(
 base_url="http://localhost:8001/v1",
 api_key="not-needed"
)

# 使用上傳的文件作為上下文
response = client.chat.completions.create(
 model="private-gpt",
 messages=[
 {"role": "user", "content": "摘要這份報告的重點"}
 ],
 extra_body={"use_context": True}
)

print(response.choices[0].message.content)

模型設定

使用 Ollama

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# settings-ollama.yaml
llm:
 mode: ollama
 ollama:
 model: llama3.3
 api_base: http://localhost:11434
 request_timeout: 120.0

embedding:
 mode: ollama
 ollama:
 model: nomic-embed-text

使用 llama.cpp

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# settings-local.yaml
llm:
 mode: llamacpp
 llamacpp:
 model_path: models/llama-2-7b-chat.Q4_K_M.gguf
 n_ctx: 4096
 n_gpu_layers: 35

embedding:
 mode: huggingface
 huggingface:
 model_name: BAAI/bge-small-en-v1.5

使用 OpenAI

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# settings-openai.yaml
llm:
 mode: openai
 openai:
 model: gpt-4o
 api_key: ${OPENAI_API_KEY}

embedding:
 mode: openai
 openai:
 model: text-embedding-3-small

向量資料庫

Qdrant（預設）

1
2
3
4


vectorstore:
 database: qdrant
 qdrant:
 path: ./local_data/qdrant

Chroma

1
2
3
4


vectorstore:
 database: chroma
 chroma:
 persist_directory: ./local_data/chroma

Docker 部署

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


version: '3.8'
services:
 private-gpt:
 image: zylonai/private-gpt:latest
 ports:
 - "8001:8001"
 environment:
 - PGPT_PROFILES=docker
 volumes:
 - ./local_data:/app/local_data
 - ./settings-docker.yaml:/app/settings-docker.yaml

 ollama:
 image: ollama/ollama
 volumes:
 - ollama-data:/root/.ollama

volumes:
 ollama-data:

安全考量

資料隔離

1
2
3


# 限制文件目錄
data:
 local_data_folder: ./secure_data

存取控制

1
2
3
4


server:
 auth:
 enabled: true
 secret: your-secret-key

稽核日誌

1
2
3


logging:
 level: INFO
 file: ./logs/private-gpt.log

效能優化

GPU 加速

1
2
3


llm:
 llamacpp:
 n_gpu_layers: 99 # 所有層到 GPU

Embedding 快取

1
2
3
4
5


embedding:
 cache:
 enabled: true
 type: file
 path: ./cache/embeddings

Text Generation WebUI 本地 LLM 介面

Mon, 27 Apr 2026 00:00:00 +0000

專案簡介

Text Generation WebUI 是一個功能完整的 Gradio 網頁介面，用於運行各種大型語言模型。支援多種模型格式和載入器，是本地 LLM 實驗的最佳平台。

GitHub Stars: 46K+

主要功能

多格式支援 - GGUF、GPTQ、AWQ、EXL2
多載入器 - llama.cpp、ExLlamaV2、Transformers
擴充系統 - 語音、圖片生成、RAG
角色扮演 - 自訂角色和對話模式
API 相容 - OpenAI API 格式

安裝

一鍵安裝

1
2
3
4
5
6
7


# Linux/macOS
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
./start_linux.sh

# Windows
start_windows.bat

手動安裝

1
2
3
4
5
6
7


conda create -n textgen python=3.11
conda activate textgen

pip install torch torchvision torchaudio
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
pip install -r requirements.txt

啟動

基本啟動

1

python server.py

訪問 http://localhost:7860

常用參數

1
2
3
4
5
6
7
8


# 啟用 API
python server.py --api

# 指定監聽位址
python server.py --listen --listen-port 8080

# 啟用共享（公開存取）
python server.py --share

模型下載

透過 WebUI 下載

前往「Model」頁籤
輸入 HuggingFace 模型名稱
點擊「Download」

命令列下載

1

python download-model.py TheBloke/Llama-2-7B-GGUF

模型存放

1
2
3
4


text-generation-webui/
└── models/
 ├── llama-2-7b.Q4_K_M.gguf
 └── mistral-7b-instruct/

載入器選擇

載入器	格式	特點
llama.cpp	GGUF	CPU 友好，量化支援
ExLlamaV2	EXL2/GPTQ	GPU 最佳效能
Transformers	HF 原始	完整功能支援
AutoGPTQ	GPTQ	GPU 量化推理

載入器設定

1
2
3
4
5


# models/config.yaml
llama-2-7b:
 loader: llama.cpp
 n_gpu_layers: 35
 n_ctx: 4096

對話模式

Chat 模式

標準聊天介面，支援：

系統提示詞
對話歷史
參數調整

Notebook 模式

自由文字編輯，適合：

故事創作
程式碼生成
長文編輯

Instruct 模式

指令格式對話，使用模型特定模板：

Alpaca
Vicuna
ChatML

角色設定

建立角色

1
2
3
4
5
6
7
8
9


# characters/assistant.yaml
name: Security Expert
context: |
 You are a cybersecurity expert with deep knowledge
 of penetration testing, vulnerability assessment,
 and secure coding practices.
greeting: |
 Hello! I'm your security consultant. How can I help
 you with your security concerns today?

使用角色

前往「Parameters」→「Character」
選擇角色檔案
開始對話

API 使用

啟用 API

1

python server.py --api --api-port 5000

OpenAI 格式

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


from openai import OpenAI

client = OpenAI(
 base_url="http://localhost:5000/v1",
 api_key="not-needed"
)

response = client.chat.completions.create(
 model="llama-2-7b",
 messages=[
 {"role": "user", "content": "What is SQL injection?"}
 ]
)

原生 API

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


import requests

response = requests.post(
 "http://localhost:5000/api/v1/generate",
 json={
 "prompt": "Explain XSS attacks:",
 "max_new_tokens": 200,
 "temperature": 0.7
 }
)

擴充功能

常用擴充

1
2
3
4
5
6
7
8
9


# 語音輸入/輸出
extensions/whisper_stt/
extensions/silero_tts/

# RAG
extensions/superboogav2/

# 多模態
extensions/multimodal/

啟用擴充

1

python server.py --extensions whisper_stt silero_tts

效能優化

GPU 設定

1
2
3
4
5


# 調整 GPU 層數
--n-gpu-layers 35

# 設定 context 大小
--n_ctx 4096

記憶體優化

1
2
3
4
5


# 使用 4-bit 量化
--load-in-4bit

# 減少 context
--n_ctx 2048

local-ai on Astroicers Blog

PrivateGPT 本地私有 RAG 系統

專案簡介

主要功能

安裝

Poetry 安裝

快速安裝

啟動

啟動服務

設定檔

上傳文件

支援格式

透過 UI 上傳

透過 API 上傳

Python 上傳

對話查詢

UI 查詢

API 查詢

Python 整合

模型設定

使用 Ollama

使用 llama.cpp

使用 OpenAI

向量資料庫

Qdrant（預設）

Chroma

Docker 部署

安全考量

資料隔離

存取控制

稽核日誌

效能優化

GPU 加速

Embedding 快取

相關連結

延伸閱讀

Text Generation WebUI 本地 LLM 介面

專案簡介

主要功能

安裝

一鍵安裝

手動安裝

啟動

基本啟動

常用參數

模型下載

透過 WebUI 下載

命令列下載

模型存放

載入器選擇

載入器設定

對話模式

Chat 模式

Notebook 模式

Instruct 模式

角色設定

建立角色

使用角色

API 使用

啟用 API

OpenAI 格式

原生 API

擴充功能

常用擴充

啟用擴充

效能優化

GPU 設定

記憶體優化

相關連結

延伸閱讀