Docker 容器反复重启,别先重装:一套从日志到数据的排查法

容器一秒起来、一秒消失,监控上一片红,这时候最诱人的命令是 docker compose down -v。请先把手从回车键上拿开:-v 会删除 Compose 项目声明的命名卷和匿名卷,数据库数据可能就在里面。排障第一原则是保留现场。

本文假设使用 Docker Compose v2,工作目录里有 compose.yaml。服务名用 app 举例;具体路径和日志请替换。不要把包含密码的 inspect 输出发到公开渠道。

先判断:应用退出,还是被系统杀掉?

docker compose ps -a
docker compose logs --tail=150 app
docker inspect "$(docker compose ps -aq app | head -1)" \
  --format 'status={{.State.Status}} exit={{.State.ExitCode}} oom={{.State.OOMKilled}} error={{.State.Error}}'

如果服务存在多个副本,上例只检查第一个容器,其他副本要分别查。退出码 137 常见于 SIGKILL,但不等于一定 OOM;结合 OOMKilled、主机日志和容器内存限制确认。journalctl -k 可能提供内核层线索,是否有 OOM 记录取决于系统和权限。

free -h
df -h
df -i
docker stats --no-stream
sudo journalctl -k --since '30 minutes ago' | grep -i -E 'oom|out of memory|killed process'

磁盘有空间不代表 inode 没耗尽;日志疯狂增长也可能填满文件系统。不要在未确认数据归属时运行 docker system prune --volumes。

四类常见根因

配置:检查必填环境变量、文件路径和密钥挂载。docker compose config 能展示合并后的配置,但可能输出敏感值,别直接贴工单。应用报“连接数据库失败”时,先确认地址和凭据,而不是先改防火墙。

网络和依赖:Compose 服务间用服务名通信,例如 db:5432;容器里的 localhost 指向容器自己。depends_on 的基础启动顺序不代表数据库已经准备好;可配健康检查和合理重试,但也要避免无上限重试掩盖永久错误。

挂载权限:应用进程的 UID/GID 可能无权读取配置或写入数据目录。先看 docker inspect 的挂载和宿主机目录权限,再决定是否调整;不要直接给生产数据目录 chmod -R 777。

镜像与资源:版本更新后启动参数、CPU 架构或依赖可能改变。记录当前镜像 digest 和配置;如果部署前后只有镜像变化,优先回滚到已经验证的版本,而不是同时改五项设置。

修复后怎么确认真的好了

  1. 查看过去几分钟日志,确认没有持续异常和敏感信息泄露。
  2. 连续观察容器状态及重启次数,而不是只看一次 Up。
  3. 从实际访问路径发请求,例如通过反向代理访问健康端点;容器内部 curl localhost 成功不代表公网可达。
  4. 确认健康检查反映真实依赖状态,同时避免把短暂依赖抖动放大成无限重启。
  5. 数据库故障时先做可靠备份,再执行迁移或修复;有状态服务的回滚不能只回滚镜像,数据结构也可能已变化。

把最后的根因、受影响版本、恢复步骤和预防措施写进运行手册。下次凌晨被叫醒时,你会感谢今天留下的这几行字。

有数据的服务,先弄清卷在哪里

执行 docker inspect 时关注 Mounts:区分镜像内临时文件、bind mount 和命名卷。Compose 重建容器并不等同于重建数据;反过来,误删卷也不一定会随着重新拉取镜像恢复。数据库要用该数据库支持的一致性备份方式,直接复制正在写入的数据目录可能得到不一致副本。

如果确定需要回滚,在维护窗口记录当前镜像 digest、环境变量来源、卷和网络,再使用之前经过验证的镜像。若新版已经执行了不可逆迁移,旧应用可能无法读取新结构,此时要先核对迁移方案和备份,而不是把镜像版本号改回去就完事。修复后让业务方验证读写及关键功能,再结束事故。

参考:Docker Compose 健康与启动顺序;Docker volumes。