vector-search on Astroicers Blog

Qdrant 高效能向量資料庫

Sat, 06 Jun 2026 00:00:00 +0000

專案簡介

Qdrant 是一個用 Rust 開發的高效能向量資料庫，專為生產環境設計。支援大規模向量搜尋、豐富的過濾功能、水平擴展等企業級特性。

GitHub Stars: 28K+

主要功能

高效能 - Rust 實作，極致效能
豐富過濾 - 向量 + 屬性聯合查詢
水平擴展 - 分片和副本支援
雲原生 - Kubernetes 部署
多租戶 - 隔離的 Collection

安裝

Docker

1
2
3


docker run -p 6333:6333 -p 6334:6334 \
 -v $(pwd)/qdrant_storage:/qdrant/storage \
 qdrant/qdrant

Docker Compose

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


version: '3.8'
services:
 qdrant:
 image: qdrant/qdrant:latest
 ports:
 - "6333:6333"
 - "6334:6334"
 volumes:
 - ./qdrant_storage:/qdrant/storage
 environment:
 - QDRANT__SERVICE__GRPC_PORT=6334

Python SDK

1

pip install qdrant-client

快速開始

基本使用

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35


from qdrant_client import QdrantClient
from qdrant_client.models import Distance, VectorParams, PointStruct

# 連接
client = QdrantClient("localhost", port=6333)

# 建立 Collection
client.create_collection(
 collection_name="security_docs",
 vectors_config=VectorParams(size=384, distance=Distance.COSINE)
)

# 新增向量
client.upsert(
 collection_name="security_docs",
 points=[
 PointStruct(
 id=1,
 vector=[0.1, 0.2, ...], # 384 維向量
 payload={"title": "SQL Injection", "severity": "high"}
 ),
 PointStruct(
 id=2,
 vector=[0.3, 0.4, ...],
 payload={"title": "XSS Attack", "severity": "medium"}
 )
 ]
)

# 搜尋
results = client.search(
 collection_name="security_docs",
 query_vector=[0.15, 0.25, ...],
 limit=5
)

Collection 管理

建立 Collection

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


from qdrant_client.models import Distance, VectorParams

# 單一向量欄位
client.create_collection(
 collection_name="docs",
 vectors_config=VectorParams(
 size=768,
 distance=Distance.COSINE
 )
)

# 多向量欄位
client.create_collection(
 collection_name="multimodal",
 vectors_config={
 "text": VectorParams(size=768, distance=Distance.COSINE),
 "image": VectorParams(size=512, distance=Distance.EUCLIDEAN)
 }
)

距離度量

類型	說明
`COSINE`	餘弦相似度
`EUCLID`	歐幾里得距離
`DOT`	內積

Collection 操作

1
2
3
4
5
6
7
8


# 取得資訊
info = client.get_collection("docs")

# 列出所有
collections = client.get_collections()

# 刪除
client.delete_collection("docs")

向量操作

新增/更新

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


from qdrant_client.models import PointStruct

# 新增點
client.upsert(
 collection_name="docs",
 points=[
 PointStruct(
 id=1,
 vector=[0.1, 0.2, 0.3, ...],
 payload={
 "title": "OWASP Top 10",
 "category": "security",
 "year": 2025
 }
 )
 ]
)

# 使用 UUID
import uuid
client.upsert(
 collection_name="docs",
 points=[
 PointStruct(
 id=str(uuid.uuid4()),
 vector=[0.1, 0.2, ...],
 payload={"title": "Document"}
 )
 ]
)

批次操作

1
2
3
4
5
6
7
8


# 批次上傳
client.upload_collection(
 collection_name="docs",
 vectors=vectors_list,
 payload=payloads_list,
 ids=ids_list,
 batch_size=100
)

刪除

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


# 依 ID 刪除
client.delete(
 collection_name="docs",
 points_selector=[1, 2, 3]
)

# 依條件刪除
from qdrant_client.models import Filter, FieldCondition, MatchValue

client.delete(
 collection_name="docs",
 points_selector=Filter(
 must=[
 FieldCondition(
 key="category",
 match=MatchValue(value="deprecated")
 )
 ]
 )
)

搜尋

基本搜尋

1
2
3
4
5
6
7
8
9


results = client.search(
 collection_name="docs",
 query_vector=[0.1, 0.2, ...],
 limit=10
)

for result in results:
 print(f"ID: {result.id}, Score: {result.score}")
 print(f"Payload: {result.payload}")

過濾搜尋

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


from qdrant_client.models import Filter, FieldCondition, MatchValue, Range

results = client.search(
 collection_name="docs",
 query_vector=query_vector,
 query_filter=Filter(
 must=[
 FieldCondition(
 key="category",
 match=MatchValue(value="security")
 ),
 FieldCondition(
 key="severity",
 match=MatchValue(value="high")
 )
 ]
 ),
 limit=10
)

範圍過濾

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


results = client.search(
 collection_name="docs",
 query_vector=query_vector,
 query_filter=Filter(
 must=[
 FieldCondition(
 key="year",
 range=Range(gte=2024, lte=2026)
 )
 ]
 ),
 limit=10
)

過濾運算子

比較運算

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


from qdrant_client.models import FieldCondition, MatchValue, Range

# 等於
FieldCondition(key="status", match=MatchValue(value="active"))

# 範圍
FieldCondition(key="score", range=Range(gt=0.5, lt=1.0))

# 在列表中
FieldCondition(key="tag", match=MatchAny(any=["web", "api"]))

邏輯運算

1
2
3
4
5


Filter(
 must=[...], # AND
 should=[...], # OR
 must_not=[...] # NOT
)

索引優化

建立 Payload 索引

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


# 加速過濾查詢
client.create_payload_index(
 collection_name="docs",
 field_name="category",
 field_schema="keyword"
)

# 數值索引
client.create_payload_index(
 collection_name="docs",
 field_name="year",
 field_schema="integer"
)

HNSW 設定

1
2
3
4
5
6
7
8
9


from qdrant_client.models import HnswConfigDiff

client.update_collection(
 collection_name="docs",
 hnsw_config=HnswConfigDiff(
 m=16,
 ef_construct=100
 )
)

LangChain 整合

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


from langchain_qdrant import Qdrant
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

# 建立向量儲存
vectorstore = Qdrant.from_documents(
 documents=docs,
 embedding=embeddings,
 url="http://localhost:6333",
 collection_name="langchain_docs"
)

# 搜尋
results = vectorstore.similarity_search("security vulnerability", k=3)

分片與複製

建立分片 Collection

1
2
3
4
5
6


client.create_collection(
 collection_name="large_docs",
 vectors_config=VectorParams(size=768, distance=Distance.COSINE),
 shard_number=6, # 分片數
 replication_factor=2 # 副本數
)

雲端服務

Qdrant Cloud

1
2
3
4


client = QdrantClient(
 url="https://your-cluster.qdrant.io",
 api_key="your-api-key"
)

Chroma 開源向量資料庫

Tue, 02 Jun 2026 00:00:00 +0000

專案簡介

Chroma 是一個開源的嵌入式向量資料庫，專為 AI 應用設計。API 簡潔易用，可輕鬆整合到 LangChain、LlamaIndex 等框架，是 RAG 應用的熱門選擇。

GitHub Stars: 26K+

主要功能

簡單易用 - Python 原生 API
嵌入式 - 無需獨立伺服器
元資料過濾 - 結合向量和屬性查詢
多種 Embedding - OpenAI、HuggingFace、本地模型
持久化 - 支援本地儲存

安裝

1

pip install chromadb

快速開始

基本使用

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


import chromadb

# 建立客戶端
client = chromadb.Client()

# 建立 Collection
collection = client.create_collection("security_docs")

# 新增文件
collection.add(
 documents=[
 "SQL injection is a code injection technique",
 "XSS allows attackers to inject scripts",
 "CSRF forces users to execute unwanted actions"
 ],
 ids=["doc1", "doc2", "doc3"]
)

# 查詢
results = collection.query(
 query_texts=["What is injection attack?"],
 n_results=2
)

print(results["documents"])

持久化

本地儲存

1
2
3
4
5
6
7


import chromadb

# 持久化客戶端
client = chromadb.PersistentClient(path="./chroma_db")

# Collection 會自動持久化
collection = client.get_or_create_collection("my_docs")

Client/Server 模式

1
2


# 啟動伺服器
chroma run --path ./chroma_data --port 8000

1
2
3


import chromadb

client = chromadb.HttpClient(host="localhost", port=8000)

Collection 操作

建立 Collection

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


# 基本建立
collection = client.create_collection("docs")

# 指定 Embedding 函數
from chromadb.utils.embedding_functions import OpenAIEmbeddingFunction

embedding_fn = OpenAIEmbeddingFunction(
 api_key="your-key",
 model_name="text-embedding-3-small"
)

collection = client.create_collection(
 name="docs",
 embedding_function=embedding_fn
)

管理 Collection

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 取得 Collection
collection = client.get_collection("docs")

# 取得或建立
collection = client.get_or_create_collection("docs")

# 刪除 Collection
client.delete_collection("docs")

# 列出所有 Collection
collections = client.list_collections()

文件操作

新增文件

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


# 純文字（自動生成 embedding）
collection.add(
 documents=["Document 1", "Document 2"],
 ids=["id1", "id2"]
)

# 帶元資料
collection.add(
 documents=["SQL Injection guide", "XSS prevention"],
 metadatas=[
 {"category": "injection", "severity": "high"},
 {"category": "xss", "severity": "medium"}
 ],
 ids=["doc1", "doc2"]
)

# 直接提供 embedding
collection.add(
 embeddings=[[0.1, 0.2, ...], [0.3, 0.4, ...]],
 documents=["Doc 1", "Doc 2"],
 ids=["id1", "id2"]
)

更新文件

1
2
3
4
5


collection.update(
 ids=["doc1"],
 documents=["Updated content"],
 metadatas=[{"category": "updated"}]
)

刪除文件

1
2
3
4
5


# 依 ID 刪除
collection.delete(ids=["doc1", "doc2"])

# 依條件刪除
collection.delete(where={"category": "deprecated"})

查詢

相似度搜尋

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


results = collection.query(
 query_texts=["security vulnerability"],
 n_results=5
)

# 結果包含
print(results["ids"]) # 文件 ID
print(results["documents"]) # 文件內容
print(results["distances"]) # 距離分數
print(results["metadatas"]) # 元資料

元資料過濾

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


# Where 過濾
results = collection.query(
 query_texts=["injection attack"],
 where={"severity": "high"},
 n_results=5
)

# 複雜條件
results = collection.query(
 query_texts=["attack"],
 where={
 "$and": [
 {"category": {"$eq": "injection"}},
 {"severity": {"$in": ["high", "critical"]}}
 ]
 },
 n_results=10
)

Where 運算子

運算子	說明
`$eq`	等於
`$ne`	不等於
`$gt`	大於
`$gte`	大於等於
`$lt`	小於
`$lte`	小於等於
`$in`	在列表中
`$nin`	不在列表中

文件過濾

1
2
3
4


results = collection.query(
 query_texts=["security"],
 where_document={"$contains": "SQL"}
)

Embedding 函數

OpenAI

1
2
3
4
5
6


from chromadb.utils.embedding_functions import OpenAIEmbeddingFunction

ef = OpenAIEmbeddingFunction(
 api_key="your-key",
 model_name="text-embedding-3-small"
)

HuggingFace

1
2
3
4
5


from chromadb.utils.embedding_functions import HuggingFaceEmbeddingFunction

ef = HuggingFaceEmbeddingFunction(
 model_name="sentence-transformers/all-MiniLM-L6-v2"
)

本地模型

1
2
3
4
5
6


from chromadb.utils.embedding_functions import OllamaEmbeddingFunction

ef = OllamaEmbeddingFunction(
 url="http://localhost:11434",
 model_name="nomic-embed-text"
)

LangChain 整合

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

# 從文件建立
vectorstore = Chroma.from_documents(
 documents=docs,
 embedding=embeddings,
 persist_directory="./chroma_db"
)

# 載入現有
vectorstore = Chroma(
 persist_directory="./chroma_db",
 embedding_function=embeddings
)

# 相似度搜尋
results = vectorstore.similarity_search("query", k=3)

Docker 部署

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


version: '3.8'
services:
 chroma:
 image: chromadb/chroma
 ports:
 - "8000:8000"
 volumes:
 - ./chroma_data:/chroma/chroma
 environment:
 - CHROMA_SERVER_AUTHN_CREDENTIALS=admin:password

效能優化

批次操作

1
2
3
4
5
6


# 批次新增
collection.add(
 documents=documents, # 大量文件
 ids=ids,
 batch_size=1000
)

索引設定

1
2
3
4


collection = client.create_collection(
 name="docs",
 metadata={"hnsw:space": "cosine"} # 或 l2, ip
)

Milvus 向量資料庫完整指南

Sun, 19 Apr 2026 00:00:00 +0000

專案簡介

Milvus 是一個開源的向量資料庫，專為儲存、索引和搜尋大規模向量資料設計。支援十億級向量的毫秒級搜尋，是建構 RAG、語義搜尋、推薦系統的首選方案。

GitHub Stars: 42K+

主要功能

高效能 - 十億級向量毫秒搜尋
多索引 - IVF、HNSW、ANNOY 等
標量過濾 - 結合向量和屬性搜尋
分散式架構 - 水平擴展
雲原生 - Kubernetes 部署

快速部署

Docker Compose（Standalone）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46


version: '3.8'
services:
 etcd:
 image: quay.io/coreos/etcd:v3.5.5
 environment:
 - ETCD_AUTO_COMPACTION_MODE=revision
 - ETCD_AUTO_COMPACTION_RETENTION=1000
 - ETCD_QUOTA_BACKEND_BYTES=4294967296
 - ETCD_SNAPSHOT_COUNT=50000
 volumes:
 - etcd-data:/etcd
 command: etcd -advertise-client-urls=http://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd

 minio:
 image: minio/minio:RELEASE.2023-03-20T20-16-18Z
 environment:
 MINIO_ACCESS_KEY: minioadmin
 MINIO_SECRET_KEY: minioadmin
 volumes:
 - minio-data:/minio_data
 command: minio server /minio_data
 healthcheck:
 test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
 interval: 30s
 timeout: 20s
 retries: 3

 milvus:
 image: milvusdb/milvus:v2.4-latest
 command: ["milvus", "run", "standalone"]
 environment:
 ETCD_ENDPOINTS: etcd:2379
 MINIO_ADDRESS: minio:9000
 volumes:
 - milvus-data:/var/lib/milvus
 ports:
 - "19530:19530"
 - "9091:9091"
 depends_on:
 - etcd
 - minio

volumes:
 etcd-data:
 minio-data:
 milvus-data:

Milvus Lite（開發用）

1
2
3
4


from pymilvus import MilvusClient

# 使用本地檔案
client = MilvusClient("milvus_demo.db")

Python SDK

安裝

1

pip install pymilvus

連線

1
2
3
4
5
6
7


from pymilvus import connections, Collection

connections.connect(
 alias="default",
 host="localhost",
 port="19530"
)

建立 Collection

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


from pymilvus import CollectionSchema, FieldSchema, DataType

# 定義 Schema
fields = [
 FieldSchema(name="id", dtype=DataType.INT64, is_primary=True, auto_id=True),
 FieldSchema(name="text", dtype=DataType.VARCHAR, max_length=1000),
 FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=768)
]

schema = CollectionSchema(fields, description="Document embeddings")

# 建立 Collection
collection = Collection(name="documents", schema=schema)

# 建立索引
index_params = {
 "metric_type": "COSINE",
 "index_type": "IVF_FLAT",
 "params": {"nlist": 1024}
}
collection.create_index(field_name="embedding", index_params=index_params)

插入資料

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


from sentence_transformers import SentenceTransformer

# 載入 Embedding 模型
model = SentenceTransformer('all-MiniLM-L6-v2')

# 準備資料
texts = [
 "Kubernetes 是容器編排平台",
 "Docker 是容器化技術",
 "Terraform 是基礎設施即程式碼工具"
]

embeddings = model.encode(texts).tolist()

# 插入
data = [
 texts,
 embeddings
]

collection.insert([
 {"text": text, "embedding": emb}
 for text, emb in zip(texts, embeddings)
])

# 載入到記憶體
collection.load()

向量搜尋

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


# 查詢向量
query_text = "什麼是容器技術？"
query_embedding = model.encode(query_text).tolist()

# 搜尋
results = collection.search(
 data=[query_embedding],
 anns_field="embedding",
 param={"metric_type": "COSINE", "params": {"nprobe": 10}},
 limit=5,
 output_fields=["text"]
)

for hits in results:
 for hit in hits:
 print(f"Score: {hit.score}, Text: {hit.entity.get('text')}")

標量過濾

1
2
3
4
5
6
7
8
9


# 結合向量搜尋和過濾
results = collection.search(
 data=[query_embedding],
 anns_field="embedding",
 param={"metric_type": "COSINE"},
 limit=5,
 expr="category == 'cloud'",
 output_fields=["text", "category"]
)

索引類型

索引類型	適用場景	特點
IVF_FLAT	中等規模	精確度高
IVF_SQ8	大規模	節省記憶體
IVF_PQ	超大規模	壓縮向量
HNSW	低延遲	速度快
ANNOY	靜態資料	磁碟索引

HNSW 索引

1
2
3
4
5
6
7
8
9


index_params = {
 "metric_type": "COSINE",
 "index_type": "HNSW",
 "params": {
 "M": 16,
 "efConstruction": 256
 }
}
collection.create_index("embedding", index_params)

RAG 應用

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36


from pymilvus import MilvusClient
from openai import OpenAI

# 初始化客戶端
milvus = MilvusClient("milvus.db")
openai = OpenAI()

def rag_query(question: str) -> str:
 # 生成 Embedding
 response = openai.embeddings.create(
 model="text-embedding-3-small",
 input=question
 )
 query_embedding = response.data[0].embedding

 # 向量搜尋
 results = milvus.search(
 collection_name="documents",
 data=[query_embedding],
 limit=3,
 output_fields=["text"]
 )

 # 組合上下文
 context = "\n".join([hit["entity"]["text"] for hit in results[0]])

 # 生成回答
 completion = openai.chat.completions.create(
 model="gpt-4o",
 messages=[
 {"role": "system", "content": f"根據以下內容回答問題：\n{context}"},
 {"role": "user", "content": question}
 ]
 )

 return completion.choices[0].message.content

LangChain 整合

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


from langchain_community.vectorstores import Milvus
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

# 建立向量儲存
vectorstore = Milvus.from_documents(
 documents,
 embeddings,
 connection_args={"host": "localhost", "port": "19530"},
 collection_name="langchain_docs"
)

# 相似度搜尋
docs = vectorstore.similarity_search("什麼是 Kubernetes？", k=3)

vector-search on Astroicers Blog

Qdrant 高效能向量資料庫

專案簡介

主要功能

安裝

Docker

Docker Compose

Python SDK

快速開始

基本使用

Collection 管理

建立 Collection

距離度量

Collection 操作

向量操作

新增/更新

批次操作

刪除

搜尋

基本搜尋

過濾搜尋

範圍過濾

過濾運算子

比較運算

邏輯運算

索引優化

建立 Payload 索引

HNSW 設定

LangChain 整合

分片與複製

建立分片 Collection

雲端服務

Qdrant Cloud

相關連結

延伸閱讀

Chroma 開源向量資料庫

專案簡介

主要功能

安裝

快速開始

基本使用

持久化

本地儲存

Client/Server 模式

Collection 操作

建立 Collection

管理 Collection

文件操作

新增文件

更新文件

刪除文件

查詢

相似度搜尋

元資料過濾

Where 運算子

文件過濾

Embedding 函數

OpenAI

HuggingFace

本地模型

LangChain 整合

Docker 部署

效能優化

批次操作

索引設定

相關連結

延伸閱讀

Milvus 向量資料庫完整指南

專案簡介

主要功能

快速部署

Docker Compose（Standalone）

Milvus Lite（開發用）

Python SDK

安裝

連線

建立 Collection

插入資料

向量搜尋

標量過濾