T
linux logging monitoring devops sysadmin

高级 Linux 日志与监控指南：从 Journald 到 Prometheus

现代 Linux 日志与监控的全面指南。掌握 rsyslog 配置生成器、journalctl 过滤器构建器、systemd 定时器、Prometheus PromQL 以及 ELK 技术栈。

2026-04-12

高级 Linux 日志与监控指南

在现代基础设施架构中，可见性就是一切。无论你是在管理单台 VPS，还是在跨多个区域管理微服务集群，收集、分析并对日志和指标采取行动的能力是区分稳定系统与混乱系统的关键。Linux 作为云架构的骨干，提供了丰富的可观测性工具生态。

本指南探讨了从传统的基于 syslog 的日志管理向现代分布式监控系统的转变。我们将涵盖从本地日志管理到使用 Grafana 和 Elasticsearch 进行高级可视化的所有内容。

1. 本地日志管理：Syslog 和 Journald

每个 Linux 系统都会生成海量数据。历史上，这些数据由 syslogd 处理，后来演变为更高级的版本如 rsyslog 和 syslog-ng。

Rsyslog 配置生成器

rsyslog 因其模块化和将日志路由到各种目的地（包括通过 TCP/UDP 发送到远程服务器）的能力而依然强大。一个典型的 rsyslog 配置生成器 可以帮助你定义：

  • 输入 (Inputs): 日志来源（例如本地文件、网络端口）。
  • 过滤器 (Filters): 处理哪些日志（例如仅处理 auth.log 或来自特定应用程序的错误）。
  • 动作 (Actions): 发送到哪里（例如本地文件、远程 Graylog 服务器或 Kafka 主题）。

一个基本的 rsyslog 规则示例：

if $programname == 'my-app' then /var/log/my-app.log
& stop

Journalctl 过滤器构建器

随着 systemd 的出现，journald 成为了主要的日志收集器。与以纯文本存储日志的 syslog 不同，journald 使用二进制格式，这允许更快的查询和元数据丰富。

journalctl 过滤器构建器 对于导航这些日志至关重要。你应该使用原生标志来提高性能，而不是将 journalctl 通过管道传输到 grep：

  • journalctl -u nginx.service --since "1 hour ago"：按单元和时间过滤。
  • journalctl -p err..emerg：按优先级过滤。
  • journalctl _PID=1234：按特定进程 ID 过滤。

2. 自动化任务：Systemd 定时器生成器

监控不仅仅是关于日志；它还关乎主动检查。在 Prometheus 出现之前，我们有 Cron。今天，我们有了 systemd 定时器。

为什么选择 Systemd 定时器？

虽然 Cron 很简单，但 systemd 定时器提供：

  • 依赖关系: 确保仅在网络启动时运行作业。
  • 资源限制: 使用 cgroups 限制后台任务的 CPU/RAM。
  • 日志记录: 所有输出都会被 journald 自动捕获。

systemd 定时器生成器 帮助你创建 .service 和 .timer 文件。例如，每天凌晨 3 点运行备份脚本：

# backup.timer
[Timer]
OnCalendar=*-*-* 03:00:00
Persistent=true

[Install]
WantedBy=timers.target

3. 指标与时序数据：Prometheus 和 Grafana

如果说日志告诉你发生了什么，那么指标则告诉你为什么随着时间的推移会发生这些情况。Prometheus 已成为云原生监控的事实标准。

Prometheus 查询构建器 (PromQL)

Prometheus 使用 PromQL，一种函数式查询语言。Prometheus 查询构建器 对于构建复杂的聚合非常有价值。

  • 请求速率: rate(http_requests_total[5m])
  • 99 分位延迟: histogram_quantile(0.99, sum by (le) (rate(http_request_duration_seconds_bucket[10m])))

Grafana 面板模板

指标只有在可视化时才有用。Grafana 是创建精美实时面板的行业领导者。Grafana 面板模板 允许你快速部署标准视图：

  • Node Exporter (系统健康状况：CPU, RAM, 磁盘)。
  • Nginx/Apache 流量。
  • Kubernetes 集群健康状况。

Alertmanager 路由树可视化器

告警是监控的“行动”部分。Prometheus 将告警发送到 Alertmanager，后者处理去重、分组并路由到 Slack、邮件或 PagerDuty。 路由树可视化器 帮助你理解如何根据标签定向告警。例如，严重告警发送到 PagerDuty，而警告发送到 Slack 频道。

4. 集中式日志：ELK 技术栈

对于大规模环境，本地日志是不够的。你需要将来自数百台服务器的日志聚合到一个可搜索的索引中。这就是 ELK 技术栈 (Elasticsearch, Logstash, Kibana) 的用武之地。

Elasticsearch 查询构建器 (DSL)

Elasticsearch 使用基于 JSON 的 领域特定语言 (DSL) 进行搜索。Elasticsearch 查询构建器 简化了这些嵌套 JSON 对象的创建。

{
  "query": {
    "bool": {
      "must": [
        { "match": { "status": "error" } },
        { "range": { "@timestamp": { "gte": "now-1d" } } }
      ]
    }
  }
}

Kibana 查询语法

Kibana 为 Elasticsearch 提供了用户界面。它支持 KQL (Kibana Query Language)，它比完整的 DSL 简洁得多。

  • status: 500 AND host: "prod-web-*"
  • response: [400 TO 499]

5. 总结：构建观测性流水线

现代 Linux 日志与监控策略应遵循以下原则：

  1. 标准化 Journald: 让 systemd 处理初始收集。
  2. 导出到 Prometheus: 使用 exporter 将系统和应用状态转化为指标。
  3. 使用 ELK 或 Loki 集中化: 将日志从单个服务器移出，以便长期保留和分析。
  4. 可视化与告警: 使用 Grafana 进行面板展示，使用 Alertmanager 进行通知。

通过掌握这些工具——从 rsyslog 生成器 到 Prometheus 查询构建器——你可以确保你的基础设施保持透明、可预测且具有弹性。

返回博文列表