Python 请求慢了怎么办:超时、重试和并发别一起乱加

一个脚本要访问几十个接口,串行太慢;于是加了线程池。接口偶尔失败,又加了重试。过了几天发现上游压力更大、任务反而更慢:并发乘上重试,可能把一个小故障放大成一场流量洪水。

这里用 Python 3.9+ 标准库做一个小例子:只读取可信 HTTPS 地址,每个任务最多尝试三次,并限制并发。示例适合少量 I/O 密集请求,不是完整的生产 HTTP 客户端。

from concurrent.futures import ThreadPoolExecutor, as_completed
from urllib.error import HTTPError, URLError
from urllib.request import Request, urlopen
import random
import time

URLS = ["https://example.com/", "https://www.python.org/"]

def fetch(url):
    for attempt in range(3):
        try:
            req = Request(url, headers={"User-Agent": "ExampleFetcher/1.0"})
            with urlopen(req, timeout=5) as response:
                # 限制读取大小,不把无限响应读进内存
                body = response.read(1024)
                return url, response.status, len(body)
        except HTTPError as exc:
            # 客户端错误通常不能靠反复重试修好;429 可结合 Retry-After 单独处理
            if exc.code not in (429, 500, 502, 503, 504):
                raise
            error = exc
        except (URLError, TimeoutError) as exc:
            error = exc
        if attempt == 2:
            raise error
        time.sleep(min(4, 0.5 * 2 ** attempt) + random.uniform(0, 0.25))

with ThreadPoolExecutor(max_workers=4) as pool:
    futures = {pool.submit(fetch, url): url for url in URLS}
    for future in as_completed(futures):
        try:
            print(future.result())
        except Exception as exc:
            print("FAILED", futures[future], type(exc).__name__)

保存为 fetch.py,执行 python3 fetch.py。网络结果受环境影响;如果服务不可达,看到 FAILED 是正常的失败路径,不代表线程池坏了。地址清单必须由可信方提供,不能直接让外部用户指定任意 URL,否则可能访问内网或云元数据服务。

这几个上限分别管什么

max_workers=4 限制同时执行的任务数;尝试次数限制重复请求;timeout=5 约束底层阻塞操作,但它不是整个任务的严格五秒截止时间,重定向、多个操作和重试都会增加总耗时。真正的总 deadline 需要在任务层跟踪并按剩余时间取消或停止;Python 线程不能安全地强制杀死一个正在运行的阻塞操作。

指数退避加随机抖动,避免大量客户端同时重试。生产环境还应尊重上游 Retry-After、设置队列长度和总体并发预算,并记录每次尝试的延迟与状态码。上面的代码每次最多读 1 KiB,不保证获取完整正文。

重试 POST 前先想清楚

GET 一般按协议语义设计为安全方法,但真实服务也可能实现得不好。支付、发消息等写操作遇到超时,服务端可能已经成功,只是响应丢了;盲目重试就可能重复扣款。应由服务端实现幂等键和持久化去重,再根据业务规则重试;客户端加一个随机 header 并不会自动获得幂等性。

CPU 密集型任务通常不应期待线程池带来同样收益;应基准测试并考虑进程池、原生库或其他并发方案。先量吞吐和 P95,再调参数,别把线程数当成加速按钮。

如果要处理一万个 URL

不要简单地把一万个 Future 全部提交,再期待四个工作线程能限制内存:线程数受限,等待队列仍可能很大。可以分批提交,或使用有界队列让生产者在队列满时等待。这个限制还要与上游服务的速率限制配合;四个线程并不等于每秒最多四次请求。

一个粗略的容量思路:如果平均每次请求需要 0.5 秒,四个线程理论上最多约每秒八次,但网络抖动、重试和服务端限制都会让实际值更低。对 429 的处理应遵守服务端的 Retry-After;这个字段既可能是秒数,也可能是 HTTP 日期,生产实现需要同时处理并设置最大等待时间。

调试时分别统计首次请求成功率、最终成功率和总尝试次数。如果首次成功率下降,而最终成功率仍高,重试可能正在掩盖故障;也要观察 P95 和上游负载,防止重试让故障持续更久。

参考:Python concurrent.futures;urllib.request。