优化代理池：如何解决 Redis 中的代理 IP 重复与质量管理问题

1. 核心痛点：为什么 List 结构不再适用？#

在早期的代理池实现中，开发者习惯使用 Redis 的 List 结构。List 简单易用，但它存在两个致命缺陷：

无法原生去重：同一个 IP 被多个爬虫抓取并入库时，List 会产生大量重复记录。
维护成本高：如果你想检查某个 IP 是否已存在，List 需要的遍历开销，这在高并发下是不可接受的。

2. 方案一：使用 Set 结构实现自动去重#

正如原稿所述，Redis 的 Set 结构具有天然的去重特性。通过 SADD 指令，我们可以确保池内每一个代理字符串都是唯一的。

优化后的代码实现#

1
import redis
2
from proxypool.setting import HOST, PORT, PASSWORD
3

4
class RedisClient(object):
5
    def __init__(self, host=HOST, port=PORT, db=0):
6
        # 使用连接池优化性能
7
        connection_pool = redis.ConnectionPool(
8
            host=host, port=port, password=PASSWORD, db=db, decode_responses=True
9
        )
10
        self._db = redis.StrictRedis(connection_pool=connection_pool)
11

12
    def add(self, proxy):
13
        """利用 SADD 的返回值判断是否为新代理"""
14
        return self._db.sadd("proxies:set", proxy)
15

16
    def pop(self):
17
        """随机弹出一个可用代理"""
18
        proxy = self._db.spop("proxies:set")
19
        if not proxy:
20
            return None
21
        return proxy
22

23
    def count(self):
24
        return self._db.scard("proxies:set")

评价：Set 方案解决了“重复”问题，但它依然是“盲目”的——它无法区分哪个代理更快，哪个代理已经失效。

3. 方案二：进阶之选 —— Sorted Set (ZSet)#

在 2026 年的生产环境中，我们更推荐使用 Sorted Set。它不仅能去重，还能给每个 IP 绑定一个分数（Score），这个分数可以代表代理的“健康度”或“响应速度”。

ZSet 方案逻辑：#

去重：ZSet 保证 Member（IP）唯一。
分级管理：初始分数设为 100。每检测失败一次，减 10 分；每成功一次，恢复至 100 分。
智能提取：爬虫永远只从分数最高的区间（如 100 分）提取代理。

1
def add_with_score(self, proxy, score=100):
2
    """添加代理并设置初始分数"""
3
    return self._db.zadd("proxies:zset", {proxy: score})
4

5
def get_best(self):
6
    """获取分数最高的代理（不弹出，仅读取）"""
7
    # 返回分数在 100-100 之间的随机一个
8
    result = self._db.zrangebyscore("proxies:zset", 100, 100)
9
    if result:
10
        from random import choice
11
        return choice(result)
12
    return None

4. 不同数据结构的对比决策表#

特性	List (列表)	Set (集合)	Sorted Set (有序集合)
去重能力	❌ 需手动逻辑	✅ 原生支持	✅ 原生支持
查询性能
排序依据	插入顺序	无序	自定义分数 (Score)
适用场景	简单队列	基础去重需求	工业级高可用代理池

5. 总结与建议#

解决代理 IP 重复只是优化的第一步。

如果你的项目规模较小，Set 结构通过 spop 提供的随机性足以应付。
如果你追求爬虫的极高成功率，请务必转向 Sorted Set。通过给 IP 打分，你可以实现“优胜劣汰”的自净化机制，让失效代理自动沉底，让高质量代理始终处于活跃状态。

技术提示：在 Redis 中存储 IP 时，建议使用 ip:port 格式的字符串，并利用 Redis 的 EXPIRE 功能为那些长时间未更新的 Set 键设置过期时间，进一步节省内存。