prometheus on Astroicers Blog

Prometheus 監控系統完整指南

Tue, 07 Apr 2026 00:00:00 +0000

專案簡介

Prometheus 是 CNCF 畢業專案，為雲原生環境設計的監控和告警系統。採用 Pull 模式收集指標，具備強大的查詢語言 PromQL。

GitHub Stars: 62K+

核心概念

Metrics - 時間序列資料
Labels - 維度標籤
PromQL - 查詢語言
Alertmanager - 告警管理
Service Discovery - 自動發現目標

快速部署

Docker

1
2
3
4
5


docker run -d \
 -p 9090:9090 \
 -v ./prometheus.yml:/etc/prometheus/prometheus.yml \
 --name prometheus \
 prom/prometheus

基本設定

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


# prometheus.yml
global:
 scrape_interval: 15s
 evaluation_interval: 15s

alerting:
 alertmanagers:
 - static_configs:
 - targets:
 - alertmanager:9093

rule_files:
 - "alerts/*.yml"

scrape_configs:
 - job_name: 'prometheus'
 static_configs:
 - targets: ['localhost:9090']

 - job_name: 'node'
 static_configs:
 - targets: ['node-exporter:9100']

指標類型

Counter（計數器）

只會增加，用於累計值：

1
2
3
4
5


# 請求總數
http_requests_total

# 請求率
rate(http_requests_total[5m])

Gauge（量表）

可增可減，用於當前值：

1
2
3
4
5


# 當前溫度
temperature_celsius

# 記憶體使用量
node_memory_MemAvailable_bytes

Histogram（直方圖）

用於分佈統計：

1
2
3
4
5


# P95 延遲
histogram_quantile(0.95, rate(http_request_duration_seconds_bucket[5m]))

# 平均延遲
rate(http_request_duration_seconds_sum[5m]) / rate(http_request_duration_seconds_count[5m])

Summary（摘要）

客戶端計算分位數：

1

http_request_duration_seconds{quantile="0.95"}

PromQL 查詢

基本查詢

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 選擇指標
http_requests_total

# 標籤過濾
http_requests_total{method="POST"}

# 正則匹配
http_requests_total{method=~"GET|POST"}

# 排除標籤
http_requests_total{method!="DELETE"}

範圍查詢

1
2
3
4
5


# 過去 5 分鐘
http_requests_total[5m]

# 偏移
http_requests_total offset 1h

聚合函數

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


# 加總
sum(http_requests_total)

# 按標籤加總
sum by (method) (rate(http_requests_total[5m]))

# 不包含標籤
sum without (instance) (rate(http_requests_total[5m]))

# 平均
avg(node_cpu_seconds_total)

# 最大/最小
max(node_memory_MemTotal_bytes)
min(node_memory_MemAvailable_bytes)

# 計數
count(up == 1)

# Top K
topk(5, rate(http_requests_total[5m]))

常用函數

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


# 變化率
rate(http_requests_total[5m])
irate(http_requests_total[5m])

# 增量
increase(http_requests_total[1h])

# 直方圖分位數
histogram_quantile(0.99, sum(rate(http_request_duration_bucket[5m])) by (le))

# 時間函數
time()
timestamp(up)

# 數學函數
abs(changes)
ceil(value)
floor(value)
round(value, 0.1)

告警規則

告警設定

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


# alerts/node.yml
groups:
 - name: node
 rules:
 - alert: HighCPUUsage
 expr: 100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
 for: 5m
 labels:
 severity: warning
 annotations:
 summary: "High CPU usage on {{ $labels.instance }}"
 description: "CPU usage is {{ $value | printf \"%.2f\" }}%"

 - alert: HighMemoryUsage
 expr: (1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100 > 85
 for: 5m
 labels:
 severity: warning
 annotations:
 summary: "High memory usage on {{ $labels.instance }}"

 - alert: DiskSpaceLow
 expr: (node_filesystem_avail_bytes / node_filesystem_size_bytes) * 100 < 10
 for: 5m
 labels:
 severity: critical
 annotations:
 summary: "Low disk space on {{ $labels.instance }}"

Alertmanager 設定

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33


# alertmanager.yml
global:
 smtp_smarthost: 'smtp.example.com:587'
 smtp_from: 'alertmanager@example.com'

route:
 receiver: 'default'
 group_by: ['alertname', 'severity']
 group_wait: 30s
 group_interval: 5m
 repeat_interval: 4h

 routes:
 - match:
 severity: critical
 receiver: 'pagerduty'
 - match:
 severity: warning
 receiver: 'slack'

receivers:
 - name: 'default'
 email_configs:
 - to: 'team@example.com'

 - name: 'slack'
 slack_configs:
 - api_url: 'https://hooks.slack.com/services/xxx'
 channel: '#alerts'

 - name: 'pagerduty'
 pagerduty_configs:
 - service_key: 'xxx'

服務發現

Kubernetes

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


scrape_configs:
 - job_name: 'kubernetes-pods'
 kubernetes_sd_configs:
 - role: pod
 relabel_configs:
 - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
 action: keep
 regex: true
 - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]
 action: replace
 target_label: __metrics_path__
 regex: (.+)

Docker

1
2
3
4
5


scrape_configs:
 - job_name: 'docker'
 dockerswarm_sd_configs:
 - host: unix:///var/run/docker.sock
 role: tasks

File SD

1
2
3
4
5
6


scrape_configs:
 - job_name: 'file-sd'
 file_sd_configs:
 - files:
 - '/etc/prometheus/targets/*.json'
 refresh_interval: 5m

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


// targets/web.json
[
 {
 "targets": ["web1:9100", "web2:9100"],
 "labels": {
 "env": "production",
 "team": "web"
 }
 }
]

Exporter 生態

Node Exporter

1
2
3
4
5
6


docker run -d \
 --net="host" \
 --pid="host" \
 -v "/:/host:ro,rslave" \
 prom/node-exporter \
 --path.rootfs=/host

自訂指標（Python）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


from prometheus_client import start_http_server, Counter, Gauge, Histogram

# 定義指標
requests_total = Counter('http_requests_total', 'Total HTTP requests', ['method', 'endpoint'])
temperature = Gauge('temperature_celsius', 'Current temperature')
request_duration = Histogram('http_request_duration_seconds', 'Request duration')

# 使用指標
requests_total.labels(method='GET', endpoint='/api').inc()
temperature.set(23.5)

with request_duration.time():
 # 處理請求
 pass

# 啟動 HTTP 伺服器
start_http_server(8000)

高可用部署

Thanos

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# Prometheus sidecar
prometheus:
 command:
 - --storage.tsdb.max-block-duration=2h
 - --storage.tsdb.min-block-duration=2h

thanos-sidecar:
 image: quay.io/thanos/thanos:latest
 args:
 - sidecar
 - --prometheus.url=http://prometheus:9090
 - --objstore.config-file=/etc/thanos/bucket.yml

Grafana 可觀測性平台完整指南

Fri, 03 Apr 2026 00:00:00 +0000

專案簡介

Grafana 是最受歡迎的開源可觀測性平台，提供美觀的儀表板來視覺化監控資料。支援 Prometheus、InfluxDB、Elasticsearch 等數十種資料源。

GitHub Stars: 72K+

主要功能

儀表板 - 豐富的視覺化元件
多資料源 - 整合 100+ 資料來源
告警系統 - 多管道通知
日誌查詢 - Loki 整合
分散式追蹤 - Tempo 整合

快速部署

Docker

1
2
3
4
5


docker run -d \
 -p 3000:3000 \
 --name grafana \
 -v grafana-storage:/var/lib/grafana \
 grafana/grafana-oss

Docker Compose（完整堆疊）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31


version: '3.8'
services:
 grafana:
 image: grafana/grafana-oss
 ports:
 - "3000:3000"
 environment:
 - GF_SECURITY_ADMIN_PASSWORD=admin
 volumes:
 - grafana-data:/var/lib/grafana

 prometheus:
 image: prom/prometheus
 ports:
 - "9090:9090"
 volumes:
 - ./prometheus.yml:/etc/prometheus/prometheus.yml

 loki:
 image: grafana/loki
 ports:
 - "3100:3100"

 promtail:
 image: grafana/promtail
 volumes:
 - /var/log:/var/log
 - ./promtail-config.yml:/etc/promtail/config.yml

volumes:
 grafana-data:

訪問 http://localhost:3000（admin/admin）

資料源設定

Prometheus

Configuration → Data Sources → Add
選擇 Prometheus
URL: http://prometheus:9090
Save & Test

Loki（日誌）

Configuration → Data Sources → Add
選擇 Loki
URL: http://loki:3100

MySQL

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# datasources/mysql.yaml
apiVersion: 1
datasources:
 - name: MySQL
 type: mysql
 url: mysql:3306
 database: mydb
 user: grafana
 secureJsonData:
 password: secret

建立儀表板

Panel 類型

類型	用途
Time series	時間序列資料
Stat	單一數值
Gauge	量表顯示
Bar chart	長條圖
Table	表格資料
Heatmap	熱力圖
Logs	日誌顯示

PromQL 範例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# CPU 使用率
100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)

# 記憶體使用率
(1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100

# HTTP 請求率
sum(rate(http_requests_total[5m])) by (status)

# P95 延遲
histogram_quantile(0.95, sum(rate(http_request_duration_seconds_bucket[5m])) by (le))

LogQL 範例（Loki）

1
2
3
4
5
6
7
8


# 查詢特定應用日誌
{app="nginx"} |= "error"

# JSON 解析
{app="api"} | json | response_code >= 500

# 統計錯誤數
sum(rate({app="api"} |= "error" [5m])) by (level)

告警設定

告警規則

Alerting → Alert Rules → Create
設定條件

1
2
3
4
5
6
7
8


# 範例：CPU 高使用率告警
alert: HighCPUUsage
expr: 100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
for: 5m
labels:
 severity: warning
annotations:
 summary: "High CPU usage on {{ $labels.instance }}"

通知管道

支援多種通知方式：

Email
Slack
PagerDuty
Webhook
Microsoft Teams
Discord

Slack 設定

Alerting → Contact points → New
選擇 Slack
輸入 Webhook URL

儀表板即程式碼

JSON 匯出

Dashboard Settings → JSON Model → Copy

Provisioning

1
2
3
4
5
6
7
8


# provisioning/dashboards/default.yaml
apiVersion: 1
providers:
 - name: 'default'
 folder: ''
 type: file
 options:
 path: /var/lib/grafana/dashboards

Terraform

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


resource "grafana_dashboard" "metrics" {
 config_json = file("dashboard.json")
}

resource "grafana_alert_rule" "cpu" {
 name = "High CPU"
 folder_id = grafana_folder.alerts.id
 rule_group {
 name = "cpu_alerts"
 interval = "1m"
 }
}

Grafana Loki

Promtail 設定

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


# promtail-config.yml
server:
 http_listen_port: 9080

positions:
 filename: /tmp/positions.yaml

clients:
 - url: http://loki:3100/loki/api/v1/push

scrape_configs:
 - job_name: containers
 static_configs:
 - targets:
 - localhost
 labels:
 job: containerlogs
 __path__: /var/lib/docker/containers/*/*.log
 pipeline_stages:
 - json:
 expressions:
 log: log
 stream: stream
 time: time

查詢日誌

1
2
3
4
5


# 最近錯誤
{job="containerlogs"} |= "error" | limit 100

# 按級別統計
sum by (level) (count_over_time({app="api"}[1h]))

效能優化

資料保留

1
2
3
4
5
6
7
8
9


# prometheus.yml
global:
 scrape_interval: 15s
 evaluation_interval: 15s

storage:
 tsdb:
 retention.time: 15d
 retention.size: 50GB

快取設定

1
2
3
4


# grafana.ini
[caching]
enabled = true
ttl = 300

安全設定

認證

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


# grafana.ini
[auth]
disable_login_form = false

[auth.ldap]
enabled = true
config_file = /etc/grafana/ldap.toml

[auth.generic_oauth]
enabled = true
name = Keycloak
client_id = grafana
client_secret = secret
auth_url = https://keycloak/auth
token_url = https://keycloak/token
api_url = https://keycloak/userinfo

HTTPS

1
2
3
4


[server]
protocol = https
cert_file = /etc/grafana/cert.pem
cert_key = /etc/grafana/key.pem

prometheus on Astroicers Blog

Prometheus 監控系統完整指南

專案簡介

核心概念

快速部署

Docker

基本設定

指標類型

Counter（計數器）

Gauge（量表）

Histogram（直方圖）

Summary（摘要）

PromQL 查詢

基本查詢

範圍查詢

聚合函數

常用函數

告警規則

告警設定

Alertmanager 設定

服務發現

Kubernetes

Docker

File SD

Exporter 生態

Node Exporter

自訂指標（Python）

高可用部署

Thanos

相關連結

延伸閱讀

Grafana 可觀測性平台完整指南

專案簡介

主要功能

快速部署

Docker

Docker Compose（完整堆疊）

資料源設定

Prometheus

Loki（日誌）

MySQL

建立儀表板

Panel 類型

PromQL 範例

LogQL 範例（Loki）

告警設定

告警規則

通知管道

Slack 設定

儀表板即程式碼

JSON 匯出

Provisioning

Terraform

Grafana Loki

Promtail 設定

查詢日誌

效能優化

資料保留

快取設定

安全設定

認證

HTTPS

相關連結

延伸閱讀