如何使用Docker进行应用的监控和日志管理

如何使用docker进行应用的监控和日志管理

Docker已经成为了现代化应用中的一项必备技术,但是使用Docker进行应用监控日志管理却是一项挑战。随着Docker网络功能,如Service Discovery和Load Balancing的不断增强,我们越来越需要一个完整、稳定,以及高效的应用监控系统。

在本文中,我们将简单地介绍使用Docker进行应用监控和日志管理的同时给出具体的代码示例。

利用Prometheus进行应用监控

Prometheus是一款开源,基于Pull模型的服务监测和警告工具,由SoundCloud开发。它使用Go语言编写,被广泛应用于微服务方案和云环境中。作为一款监控工具,它可以对Docker的CPU、内存、网络和磁盘等进行监控,并且还支持多维数据切换、灵活的查询、报警以及可视化等功能,让你可以快速做出反应,并快速做出决策。

还有一点需要注意的是,Prometheus需要通过Pull方式的采样,也就是访问被监控应用中的/metrics接口获取监控数据。所以,在启动被监控应用镜像时,需要先将可以访问到Prometheus的IP和端口配置到/metrics接口中。下面是一个简单的Node.js应用。

const express = require('express')const app = express()app.get('/', (req, res) => {  res.send('Hello World!')})app.get('/metrics', (req, res) => {  res.send(`    # HELP api_calls_total Total API calls    # TYPE api_calls_total counter    api_calls_total 100  `)})app.listen(3000, () => {  console.log('Example app listening on port 3000!')})

在该代码中,我们通过/metrics接口,返回了一个api_calls_total的监控指标。

接着,在官网上下载Prometheus的Docker镜像,并创建一个docker-compose.yml文件,并且在该文件中,我们获取该Node.js应用的数据。

version: '3'services:  node:    image: node:lts    command: node index.js    ports:      - 3000:3000  prometheus:    image: prom/prometheus:v2.25.2    volumes:      - ./prometheus:/etc/prometheus    command:      - '--config.file=/etc/prometheus/prometheus.yml'      - '--storage.tsdb.retention.time=15d'    ports:      - 9090:9090

该docker-compose.yml文件中,我们定义了两个服务,一个是运行Node.js应用的Node服务,另一个是用于监控的Prometheus服务。其中,Node服务发布的端口为3000端口,通过端口映射,可以通过docker-compose.yml中的IP和3000端口访问到该Node应用的/metrics接口。而Prometheus则可以通过9090端口访问对应的监控指标数据。

最后,在prometheus.yml文件中,我们需要定义要获取的数据来源。

global:  scrape_interval:     15s  evaluation_interval: 15sscrape_configs:  - job_name: 'node-exporter'    static_configs:    - targets: ['node:9100']  - job_name: 'node-js-app'    static_configs:    - targets: ['node:3000']

在该文件中,我们定义了要采集的所有的Node.js应用的指标,其中targets参数是Node.js应用的IP地址及其对应端口号。在这里,我们使用的是node和3000端口。

AppMall应用商店 AppMall应用商店

AI应用商店,提供即时交付、按需付费的人工智能应用服务

AppMall应用商店 56 查看详情 AppMall应用商店

最后,运行docker-compose up命令,即可启动整个应用及其监控服务,并在Prometheus中查看该会员指标。

利用ElasticSearch和Logstash进行日志管理

在Docker中,应用的日志数据分布在不同的Docker容器中。如果你要在集中的地方对这些日志进行管理,那么可以通过使用ELK中的ElasticSearch和Logstash,将日志中心化管理,以便更轻松地实现计算机资源的监控和分析。

在开始之前,需要先下载Logstash和ElasticSearch的Docker镜像,并创建一个docker-compose.yml文件。

在该文件中,我们定义了三个服务,其中bls是用来模拟业务日志的API服务,其每次响应后,将记录一条日志到stdout和日志文件中。logstash服务是由Logstash官方提供的Docker镜像构建,用于收集、过滤和传输日志。ElasticSearch服务用于存储和检索日志。

version: '3'services:  bls:    image: nginx:alpine    volumes:      - ./log:/var/log/nginx      - ./public:/usr/share/nginx/html:ro    ports:      - "8000:80"    logging:      driver: "json-file"      options:        max-size: "10m"        max-file: "10"  logstash:    image: logstash:7.10.1    volumes:      - ./logstash/pipeline:/usr/share/logstash/pipeline    environment:      - "ES_HOST=elasticsearch"    depends_on:      - elasticsearch  elasticsearch:    image: elasticsearch:7.10.1    environment:      - "http.host=0.0.0.0"      - "discovery.type=single-node"    volumes:      - ./elasticsearch:/usr/share/elasticsearch/data

在配置文件中,我们映射了容器内的路径到宿主机的日志文件系统中。同时通过logging的option,则定义了日志的卷大小和数量,以限制日志的占用存储。

在配置文件的logstash中,我们定义了一个新的pipeline,其名为nginx_pipeline.conf,该文件用于处理nginx日志的收集、过滤和传输。与ELK的工作原理相同,logstash将根据不同的条件,对接收到的日志进行处理,并将其发送到已经创建的 Elasticsearch 集群中。在该配置文件中,我们定义了如下处理逻辑:

input {  file {    path => "/var/log/nginx/access.log"  }}filter {  grok {    match => { "message" => "%{COMBINEDAPACHELOG}" }  }}output {  elasticsearch {    hosts => [ "${ES_HOST}:9200" ]    index => "nginx_log_index"  }}

在该配置文件中,我们定义了一个name为file的输入,表示要从本地Log文件中读取数据。接着,我们引入了使用grok库来解析符合特定模板的日志的filter。最后,我们定义了输出,其将数据传输到 Elasticsearch 集群的地址,同时将检索和报告通过环境变量ES_HOST传递到容器中。

在最后,如上完成整个ELK的配置后,我们会得到一个高效的日志管理系统,每条日志都将发送到集中的地方,并被整合在一起,可以实现简便的搜索,过滤和可视化操作。

以上就是如何使用Docker进行应用的监控和日志管理的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/569321.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
AI顶会审稿人竟是本科生?女物理学家发推吐槽,圈内大佬纷纷点赞
上一篇 2025年11月10日 05:10:01
【深度学习实战】一、Numpy手撸神经网络实现线性回归
下一篇 2025年11月10日 05:11:00

相关推荐

  • 一台服务器上如何同时运行多个UWSGI服务避免冲突?

    多UWSGI服务部署方案:利用Docker实现服务器资源隔离 本文探讨如何在单台服务器上安全运行多个UWSGI服务,避免服务冲突。 问题在于,即使端口不同,两个UWSGI服务(例如:san和san_test)也可能发生冲突,后启动的服务覆盖之前的服务。 理想情况下,san_test应该持续运行,而s…

    2026年5月10日
    000
  • 我有时使用 awk 而不是 Python 的四个原因

    Python 是一门强大的编程语言,但在某些特定场景下,Awk 的优势更为显著,尤其体现在可移植性、生命周期、代码简洁性和与其他工具的互操作性方面。 Python 脚本通常具有良好的可移植性,但并非总能在所有环境中完美运行,例如流行的 Docker 基础镜像 (如 Debian 和 Alpine)。…

    2026年5月10日
    000
  • C++云计算最佳实践:部署、管理和伸缩性考虑因素

    为了实现 c++++ 云应用程序的有效部署,最佳实践包括:容器化部署,使用 docker 等容器。采用 ci/cd,自动化发布过程。使用版本控制,管理代码更改。实施日志记录和监控,跟踪应用程序运行状况。使用自动扩展,优化资源利用率。利用云管理服务,管理应用程序基础设施。采用水平伸缩和垂直伸缩,根据需…

    2026年5月10日
    000
  • C++ 框架的未来趋势是什么?

    c++++框架的未来趋势包括:元编程(支持更灵活的代码)、反射和内省(改进调试和可测试性)、并发和并行(提升性能)、分布式计算(适用于分布式系统)。示例代码展示了使用boost.asio(c++网络库)创建http服务器的方法。 C++ 框架的未来趋势 C++ 作为一门强大的系统编程语言,拥有庞大的…

    2026年5月10日
    000
  • 使用PHP FirestoreClient发送自定义头部认证令牌的最佳实践

    本文旨在解决php firestoreclient在启用安全规则后遇到的“权限不足”错误。核心内容是,对于服务器端应用,应通过服务账户进行身份验证,并推荐在`firestoreclient`构造函数中使用`keyfilepath`参数明确指定服务账户密钥文件路径,以确保请求能够正确通过firesto…

    2026年5月10日
    000
  • 解决cuDF与Numba在Docker环境中的NVVM缺失错误

    本文旨在解决在docker容器中使用cudf时,由于numba依赖cuda工具包中的nvvm组件缺失而导致的`filenotfounderror`。核心问题在于选择了精简的cuda `runtime`镜像,该镜像不包含numba进行jit编译所需的开发工具。解决方案是切换到包含完整开发工具的cuda…

    2026年5月10日
    000
  • 微服务中的配置漂移如何防止?

    防止配置漂移需统一管理、版本控制和自动化;2. 使用配置中心集中存储配置,实现动态刷新与权限控制;3. 配置与代码分离并纳入Git,支持审计与CI/CD集成;4. 保持多环境配置结构一致,通过模板生成差异值;5. 容器化与IaC实现不可变基础设施,杜绝手动修改。 微服务架构中,配置漂移指的是不同环境…

    2026年5月10日
    100
  • PHP源码命令行工具开发_PHP源码命令行工具开发教程

    答案是使用PHP开发命令行工具需依托CLI SAPI,结合Composer管理依赖,并推荐采用Symfony Console等组件库来构建。首先确保PHP支持CLI模式,通过编写基础脚本并利用$argv和getopt()处理参数,但更优方式是引入Symfony Console组件进行命令定义与输入输…

    2026年5月10日
    000
  • 别人的php源码怎么用_别人的php源码用部署与合规法【指南】

    拿到PHP源码后需先确认授权、搭建环境、审查代码并合规使用,确保来源合法、配置正确、无安全风险后方可运行。 拿到别人的PHP源码后,不能直接运行或上线使用。正确的方式是理解代码结构、部署到合适环境,并确保使用过程合法合规。以下是具体操作步骤和注意事项。 一、确认源码来源与授权 在使用任何第三方PHP…

    2026年5月10日
    000
  • Golang微服务版本管理与灰度发布方法

    Golang微服务通过语义化版本、Git分支策略、Docker镜像标签和API版本控制实现规范版本管理,并借助服务网格或注册中心实现灰度发布,结合监控与回滚机制确保上线稳定。 微服务在现代架构中广泛应用,Golang因其高性能和简洁语法成为微服务开发的热门选择。随着服务数量增长,版本管理和灰度发布变…

    2026年5月10日
    000
  • Go语言应用生产环境部署:如何利用Jenkins高效管理Go Modules依赖并发布?

    利用Jenkins高效部署Go语言应用至生产环境 本文将讲解如何结合Jenkins,构建一套完整的Go语言应用生产环境部署流程,重点关注单体应用,暂不涉及Docker容器化。 假设读者熟悉PHP和Jenkins,但对Go语言部署流程不太了解,特别是Go Modules包管理在部署中的作用。 Go项目…

    2026年5月10日
    000
  • Python连接MySQL 5.1:克服旧版认证与字符集兼容性挑战

    本教程详细阐述了如何使用Python 3和mysql.connector库成功连接到老旧的MySQL 5.1数据库。文章重点介绍了解决旧版认证协议和字符集兼容性问题的关键配置,特别是use_pure=True和charset=’utf8’的重要性,并提供了可运行的代码示例。同…

    2026年5月10日
    000
  • Golang CI/CD集成 自动化模块管理流程

    Golang项目的CI/CD自动化核心在于通过go mod实现高效、稳定的依赖管理。首先,CI/CD系统拉取代码并准备环境;接着,利用go mod download下载依赖,并通过缓存GOPATH/pkg/mod提升后续构建效率。静态检查(如golangci-lint)和测试(go test)确保代…

    2026年5月10日
    000
  • 解决 Node.js 连接本地 MongoDB 后程序卡死的问题

    本文旨在帮助开发者解决 Node.js 应用连接本地 MongoDB 数据库时,程序在建立连接后卡死的问题。通过分析可能的原因,并提供相应的解决方案,确保 Node.js 应用能够稳定可靠地与 MongoDB 数据库进行交互。文章将涵盖数据库连接配置、端口冲突、跨平台兼容性等方面,并提供代码示例进行…

    2026年5月10日
    000
  • 如何为Golang配置实时热加载开发环境 使用Air或CompileDaemon工具

    如何为Golang配置实时热加载开发环境 使用Air或CompileDaemon工具如何为Golang配置实时热加载开发环境 使用Air或CompileDaemon工具如何为Golang配置实时热加载开发环境 使用Air或CompileDaemon工具如何为Golang配置实时热加载开发环境 使用Air或CompileDaemon工具

    air的优势在于配置灵活,支持自定义监听目录、排除文件、构建命令等高级功能,适合结构复杂或需精细控制的项目;劣势是配置较复杂,需.air.toml文件。compiledaemon优势在于简单易用,无需配置文件,适合结构简单的项目;劣势是功能较少,无法精细配置。选择air适用于多包结构和静态资源管理的…

    2026年5月10日 用户投稿
    000
  • Golang环境变量调试与问题排查示例

    答案:调试Go环境变量需先打印确认值是否正确,常见问题包括未生效、.env文件未加载、拼写错误及容器中丢失变量,应使用os.Getenv或os.LookupEnv获取,并通过日志记录辅助排查。 在Go语言开发中,环境变量常用于配置应用程序行为,比如切换运行模式(开发/生产)、设置数据库连接、控制日志…

    2026年5月10日
    200
  • 怎么在Docker中运行PHP项目_Dockerfile编写与镜像构建教程

    首先编写Dockerfile,1. 创建文件并基于php:8.1-apache设置工作目录;2. 复制项目文件并设权限;3. 安装mysqli、pdo、gd等扩展;4. 启用rewrite模块并配置虚拟主机;5. 暴露80端口;6. 构建镜像后运行容器映射8080端口验证。 如果您正在尝试将一个PH…

    2026年5月10日
    000
  • 怎么自动运行python爬虫

    Python 爬虫可以自动运行,方法包括:使用计划任务调度器(如 Windows 任务计划程序、macOS launchd、Linux crontab)。使用后台进程管理工具(如 Supervisor、PM2)。使用云平台(如 AWS Lambda、Google Cloud Functions)。使…

    2026年5月10日
    000
  • Golang Docker容器网络调试与问题排查实践

    首先检查容器网络模式与端口映射是否正确,确认使用-p参数暴露端口或host模式下服务绑定到0.0.0.0;接着验证Golang服务监听地址为0.0.0.0:8080而非127.0.0.1,并检查宿主机防火墙或安全组规则;然后通过自定义bridge网络实现容器间通信,利用curl测试连通性;最后借助n…

    2026年5月10日
    000
  • phpmodbus运行模式及性能:支持CLI模式吗?如何处理高并发?

    phpmodbus 的运行模式及性能优化 phpmodbus 支持 CLI 模式吗? 是的,phpmodbus 支持多种运行模式,包括 CLI 模式。CLI 模式非常适合调试和测试。 phpmodbus 如何处理高并发? 立即学习“PHP免费学习笔记(深入)”; phpmodbus 可以运行在多种模…

    2026年5月10日
    000

发表回复

登录后才能评论
关注微信