Java 线程池别只会 newFixedThreadPool:先算清排队成本

接口偶尔慢一点,你加了线程;流量再大一点,队列开始涨;几分钟后内存上涨,调用方一直等,最终大家一起超时。线程池不是蓄水池的魔法出口:当到达速度长期大于处理速度,再大的队列也只是在推迟失败。

一个有界的起点

以下示例使用 JDK 11+。它展示容量和拒绝行为,不连接外部服务。保存为 PoolDemo.java:

import java.util.concurrent.*;

public class PoolDemo {
  public static void main(String[] args) throws InterruptedException {
    ThreadPoolExecutor pool = new ThreadPoolExecutor(
        2, 4, 30, TimeUnit.SECONDS,
        new ArrayBlockingQueue<>(8),
        new ThreadPoolExecutor.AbortPolicy());
    try {
      for (int i = 0; i < 20; i++) {
        final int id = i;
        try {
          pool.execute(() -> {
            try { Thread.sleep(200); }
            catch (InterruptedException e) { Thread.currentThread().interrupt(); return; }
            System.out.println("done " + id);
          });
        } catch (RejectedExecutionException e) {
          System.out.println("rejected " + id);
        }
      }
    } finally {
      pool.shutdown();
      if (!pool.awaitTermination(5, TimeUnit.SECONDS)) {
        pool.shutdownNow();
        if (!pool.awaitTermination(5, TimeUnit.SECONDS))
          System.err.println("pool did not terminate");
      }
    }
  }
}

运行 javac PoolDemo.java && java PoolDemo。输出顺序不固定,快速提交时会有拒绝。线程池先创建核心线程,之后放入队列;队列满了才继续增加线程到最大值,再满则按拒绝策略处理。因此“最大线程 4”并不意味着一开始就会创建 4 个线程。

为什么队列不能无限大

队列在流量尖峰时能吸收短暂抖动,但任务在里面等待也要消耗用户的时间预算。假设单个任务平均 200 毫秒、两个工作线程、排队 100 个任务,粗略估算尾部等待约十秒,真实结果还受波动和调度影响。如果上游两秒就超时,队列里很多工作其实已经没有价值。

固定线程池工厂方法使用无界工作队列,持续过载时等待任务可能不断积累。实际服务应根据吞吐、延迟目标、内存和突发量选择边界;先做压测,再决定线程数和队列大小。拒绝时返回可理解的过载响应或退避,而不是悄悄丢任务。

超时和取消不等于强制停下

Future.get(timeout, unit) 超时只表示等待结束;若希望取消,需调用 cancel(true),任务仍必须配合中断,而且网络、数据库等依赖还需要自己的连接和读取超时。吞掉 InterruptedException 会让退出更困难。避免在线程池任务内部同步等待同一个已经饱和的线程池,否则容易形成饥饿死锁。

对于 CPU 密集任务,线程数通常从接近可用 CPU 核数开始测量;I/O 密集型任务需要结合等待比例、下游连接池和限流评估,不能简单照抄核数倍数。虚拟线程能降低大量阻塞线程的成本,但不会增加数据库连接数,也不能替代限流。

至少监控活跃线程数、队列长度、拒绝次数、排队时间、任务执行时间与下游超时。设置告警时看变化趋势和用户影响,而不是把“队列非零”一律当事故。

过载时拒绝,比让所有人等到超时更诚实

AbortPolicy 会抛异常,调用方必须接住并映射到适当的过载结果;不能只是打印一行日志。CallerRunsPolicy 可能通过让提交线程执行任务形成反压,但如果提交线程是 HTTP 请求线程或事件循环,就可能拖慢关键路径,甚至造成连锁阻塞。静默丢弃策略尤其危险:调用方可能一直等不到结果。策略选择要和业务语义一起审查。

压测时不要只报告平均延迟:固定不同到达速率,记录队列等待与执行时间,找到拒绝率开始上升的点。一个粗略估算可以用 Little 定律 L = λW:稳定状态下平均系统内任务数约等于到达率乘平均停留时间;它是理解排队的工具,不保证突发流量或过载时满足稳定假设。

对于多种不同任务,考虑隔离线程池或并发配额,防止慢报表把登录请求挤掉;同时核对数据库连接池和外部 API 的容量,避免把过载从一个队列搬到另一个队列。高优先级任务也需要上限,否则低优先级可能永久饥饿。

参考:ThreadPoolExecutor;ExecutorService 关闭。