服务器挂了三天我才发现没人提醒：用 Prometheus 搭建自动化监控告警

前言

事情得从上周二说起。

我一台刚配置好的测试服务器，在中午 12 点左右突然就访问不了了。不是网络断了，也不是机房故障——是服务本身把内存吃满了，进程全部挂掉。最尴尬的是，这玩意儿居然还在持续占用 CPU，只是没人知道而已。

等到下午客户来问"你那服务咋挂了"，我才意识到这问题已经持续了三个小时。更离谱的是，监控？没有。告警？更没有。全靠客户帮我发现的。

那次之后我就发誓：再也不能这么被动了。

折腾了一周，终于把一套完整的监控方案搭起来了。用 Prometheus 监控服务器指标，用 Alertmanager 发邮件告警，配合 Node_Exporter 采集数据，最后还用 cpolar 做了内网穿透，外网随时能查看仪表盘。

整个过程踩了无数坑：Docker 端口映射不对、Alertmanager 配置写错、邮件服务一直收不到通知、cpolar 映射的域名死活访问不了……最后能跑起来纯属幸运值爆表。

不过现在好了，这套方案稳定运行了几天，服务器 CPU、内存、磁盘、网络各项指标一目了然。内存超过 80% 会收到邮件，CPU 负载过高会弹窗，磁盘空间不足会打电话——哦不，是发邮件。

如果你也经历过"服务器挂了三天才知道"的痛，那这套方案适合你。虽然配置起来有点繁琐，但比起再被通知三次，这些折腾还是值得的。

1.在Centos7上安装Alertmanager

在安装alertmanager前需要安装node_exporter和prometheus，

接下来跟我进入监控告警的世界吧！

去官网下载安装文件：

找到linux版，下载：

下载完成后记住下载路径。

创建alertmanager的目录：

mkdir-p/app/alertmanager

进入到这个目录：

cd/app/alertmanager

手动上传下载好的alertmanager文件。

上传成功后解压：

tar-vxzfalertmanager-0.28.1.linux-amd64.tar.gz

改名方便记忆：

mvalertmanager-0.28.1.linux-amd64 alertmanager

将Altermanager配置为系统服务:

cd/usr/lib/systemd/system

vimalertmanager.service

[Unit]Description=https://prometheus.io[Service]Restart=on-failureExecStart=/app/alertmanager/alertmanager--config.file=/app/alertmanager/alertmanager.yml[Install]WantedBy=multi-user.target

加载system文件，启动alertmanager这个服务，并设置开机启动：

systemctl daemon-reload systemctl start alertmanager.service systemctlenablealertmanager.service

也可以后台手动启动：

nohup./alertmanager--config.file=alertmanager.yml>>/app/alertmanager/alertmanager/alertmanager.out2>&1&catalertmanager.out

启动成功后，访问Altermanager，ip+9093，默认端口为 9093。

假如，我们想用手机或者平板，随时随地可以查看告警消息，我们应该怎么做呢？接下来cpolar就派上用场啦！

2.安装cpolar实现随时随地开发

cpolar 可以将你本地电脑中的服务（如 SSH、Web、数据库）映射到公网。即使你在家里或外出时，也可以通过公网地址连接回本地运行的开发环境。

❤️以下是安装cpolar步骤：

使用一键脚本安装命令：

sudocurlhttps://get.cpolar.sh|sh

安装完成后，执行下方命令查看cpolar服务状态：（如图所示即为正常启动）

sudosystemctl status cpolar

Cpolar安装和成功启动服务后，在浏览器上输入虚拟机主机IP加9200端口即:【http://192.168.42.101:9200】访问Cpolar管理界面，使用Cpolar官网注册的账号登录,登录后即可看到cpolar web 配置界面,接下来在web 界面配置即可：

打开浏览器访问本地9200端口，使用cpolar账户密码登录即可,登录后即可对隧道进行管理。

3.配置公网地址

登录cpolar web UI管理界面后,点击左侧仪表盘的隧道管理——创建隧道：

• 隧道名称：可自定义，本例使用了:alertmanager，注意不要与已有的隧道名称重复

• 协议：http

• 本地地址：9093

• 域名类型：随机域名

• 地区：选择China Top

创建成功后，打开左侧在线隧道列表,可以看到刚刚通过创建隧道生成了公网地址，接下来就可以在其他电脑或者移动端设备（异地）上，使用地址访问。

访问成功。

4.在prometheus上配置alertmanager

进入prometheus的配置文件，加入alertmanager告警规则：

vi/app/prometheus/prometheus.yml

加入以下内容后：Prometheus可以通过这个公网地址4246d47e.r2.cpolar.top（刚才用cpolar打通的公网地址，也可以用localhost:9093）访问到运行在本地9093端口的Alertmanager服务，从而抓取系统指标。

- targets:["4246d47e.r2.cpolar.top"]labels: app:"alertmanager"

这一步配置的作用是：告诉 Prometheus，当监控规则触发告警时，应该把告警信息发送到哪个 Alertmanager 服务进行处理（便于一会监控node_exporter，也可以监控mysqld_exporter等等）。

alerting: alertmanagers: - static_configs: - targets:["4246d47e.r2.cpolar.top"]

重新启动prometheus：

systemctl restart prometheus

抓取成功！

5.利用alertmanager来配置node_exporter告警

在第四章节，我们已经成功配置告警信息发送到alertmanager，接下来我们来验证一下，是否可以成功发送！

我们这里举例，倘若node_exporter关闭则发送告警。

node_exporter还可以监控主机的 CPU 使用率，内存使用量，文件系统用量等等。

我们先改写prometheus的配置文件，改以下内容：

vi/app/prometheus/promethues.yml

进入到prometheus配置目录下，写一个配置文件1.yml：

vi/app/prometheus/1.yml

groups: - name: node-alerts rules:# 实例宕机- alert: node_exporter实例宕机 expr: up{job="node_exporter",instance="localhost:9100"}==0for: 15s labels: severity: critical annotations: summary:"实例 {{$labels.instance }} 已停止运行超过 15 秒！"description:"作业 {{$labels.job }} 的实例 {{$labels.instance }} 无法抓取。"- name: prometheus rules:# 实例宕机- alert: 实例宕机 expr: up{job="prometheus"}==0for: 15s labels: severity: critical annotations: summary:"实例 {{$labels.instance }} 已停止运行超过 15 秒！"description:"作业 {{$labels.job }} 的实例 {{$labels.instance }} 无法抓取。"

重启prometheus：

systemctl restart prometheus

打开prometheus网页，发现加入成功。

接下来，我们验证一下，关闭node_exporter，会不会告警：

systemctl stop node_exporter

再次打开prometheus网页，告警成功：

打开alertmanager网页，我们发现那两条告警也显示成功。

这样我们就成功配置prometheus告警啦！

6.使用Alertmanager发送服务器告警至QQ邮箱

QQ 邮箱默认不允许外部应用直接使用密码登录SMTP服务器，因此你需要获取一个授权码：

• 登录QQ 邮箱，进入设置->账户。
• 找到SMTP/IMAP/POP3/Exchange 服务，开启SMTP 服务。
• 开启后，会提示你获取一个授权码。

接下来，我们进入alertmanager安装目录，修改alertmanager配置文件alertmanager.yml：

vi/app/alertmanager/alertmanager/alertmanager.yml

添加以下内容来配置告警规则：

global: resolve_timeout: 5m smtp_from:'你的QQ邮箱'smtp_smarthost:'smtp.qq.com:465'smtp_auth_username:'你的QQ邮箱'smtp_auth_password:'你的QQ邮箱授权码'smtp_require_tls:falsesmtp_hello:'qq.com'route: group_by:['alertname']group_wait: 5s group_interval: 5s repeat_interval: 5m receiver:'email'receivers: - name:'email'email_configs: - to:'你的QQ邮箱'send_resolved:true

这样有告警消息就可以发送到QQ邮箱啦！

我们来验证一下，配置有没有问题：

./alertmanager--config.file=alertmanager.yml--log.level=debug

手动运行测试，没报错即正确！

重启alertmanager：

systemctl restart alertmanager systemctl status alertmanager

登录邮箱查看，node_exporter挂机是否发邮件：

接收到邮件，说明我们配置正确！

这样我们就可以随时随地查看告警信息了！

7.保留固定公网地址

使用cpolar为其配置二级子域名，该地址为固定地址，不会随机变化。

点击左侧的预留，选择保留二级子域名，地区选择china Top，然后设置一个二级子域名名称，我这里演示使用的是alertmanager，大家可以自定义。填写备注信息，点击保留。

登录cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道alertmanager，点击右侧的编辑。

修改隧道信息，将保留成功的二级子域名配置到隧道中

• 域名类型：选择二级子域名
• Sub Domain：填写保留成功的二级子域名
• 地区: China Top

点击更新

更新完成后，打开在线隧道列表，此时可以看到随机的公网地址已经发生变化，地址名称也变成了保留和固定的二级子域名名称。

最后，我们使用固定的公网地址在任意设备的浏览器中访问，可以看到成功访问本地部署的alertmanager页面，这样一个永久不会变化的二级子域名公网网址即设置好了。

有了cpolar我们可以在任意一台服务器，使用此alertmanager监控，你的同事=也可以一键监控！是不是特别方便呢~

结尾

说真的，这次折腾让我明白了一个道理：监控不是可有可无的锦上添花，而是运维的底线保障。

这套方案的好处在于：开源免费、社区成熟、扩展性强。哪怕你现在只是搭着玩玩，以后业务多了也能无缝升级。

最后提醒两点：一是别把告警邮件发到个人邮箱，容易漏；二是记得定期查看仪表盘，不然监控就形同虚设。

如果你照着做遇到了问题，欢迎留言讨论——毕竟我是踩过坑的人，知道哪些地方会卡住。