Python迭代器生成器进阶：内存优化与懒加载实战

Python的迭代器与生成器是实现懒加载、大幅节省内存的核心机制，它们避免一次性加载全部数据，转而按需产出元素，特别适用于处理大文件、无限序列或资源受限场景；通过自定义`__iter__`和`__next__`方法可构建灵活的迭代器，而`yield`关键字则让生成器编写更简洁安全、天然支持状态暂停与恢复；更强大的是，多个生成器可像Unix管道一样链式组合，形成职责单一、内存恒定、可扩展的数据处理流水线，配合`itertools`等工具还能进一步提升表达力——掌握它们，意味着你能写出更轻量、更健壮、更具扩展性的Python代码。

Python 中的迭代器和生成器是实现懒加载、节省内存的关键工具，尤其在处理大数据流、无限序列或资源受限场景时优势明显。它们不一次性把所有数据装入内存，而是按需产出，让程序更轻量、更可控。

理解迭代器：可被 next() 驱动的对象

迭代器是实现了 __iter__() 和 __next__() 方法的对象。调用 iter() 得到迭代器，反复调用 next() 获取下一个值，直到抛出 StopIteration 异常为止。

自定义迭代器适合封装有明确状态和逻辑的数据遍历过程。例如，读取大文件时逐行迭代，避免一次性读入全部内容：

class LineReader:
    def __init__(self, filepath):
        self.filepath = filepath
    def __iter__(self):
        return self
    def __next__(self):
        try:
            if not hasattr(self, 'file'):
                self.file = open(self.filepath, 'r', encoding='utf-8')
            line = self.file.readline()
            if not line:
                raise StopIteration
            return line.rstrip('\n')
        except StopIteration:
            self.file.close()
            del self.file
            raise

• 每次只打开一次文件，每次只读一行，内存占用恒定
• 使用 for line in LineReader('huge.log'): 即可安全遍历
• 注意手动关闭文件，或改用上下文管理器（推荐）提升健壮性

掌握生成器：用 yield 简化迭代器编写

生成器函数使用 yield 关键字返回值，Python 自动将其编译为迭代器对象。它比手写迭代器更简洁、不易出错，且天然支持暂停/恢复执行状态。

典型场景：生成斐波那契数列、过滤日志、解析流式 JSON：

def fibonacci(max_count):
    a, b, count = 0, 1, 0
    while count 使用方式完全一致<p>for n in fibonacci(1000000):  # 不会创建百万元素列表
if n > 1000:
break
print(n)</p>

• yield 让函数变成生成器工厂，调用时不执行，只返回生成器对象
• 每次 next() 触发时，从上次 yield 暂停处继续运行
• 生成器对象不可重用，用完即弃；需重复遍历时应重新调用生成器函数

实战技巧：组合与转换生成器链

生成器可以像 Unix 管道一样串联，形成清晰、低耦合的数据处理链。每一步都保持懒加载，整条链仍只占用常量内存。

def read_lines(filepath):
    with open(filepath) as f:
        for line in f:
            yield line.strip()
<p>def filter_nonempty(lines):
for line in lines:
if line:
yield line</p><p>def parse_json_lines(lines):
import json
for line in lines:
try:
yield json.loads(line)
except json.JSONDecodeError:
continue</p><h1>组合使用（无中间列表）</h1><p>for obj in parse_json_lines(filter_nonempty(read_lines('data.jsonl'))):
process(obj)  # 每次只处理一个解析后的对象</p>

• 每个函数职责单一，易于测试和复用
• 整个流程不会因文件过大而 OOM，哪怕文件是 GB 级别
• 可配合 itertools（如 islice, chain, filterfalse）进一步增强表达力

进阶提醒：生成器的边界与注意事项

生成器强大但不是万能解药。实际使用中需注意几个关键点：

• 生成器只能遍历一次，多次使用需重新构造（可包装成类或工厂函数）
• 调试困难：无法直接索引、切片或查看长度，可用 itertools.islice(gen, 5) 查看前几项
• 异常传播：若生成器内部抛出异常，会原样传递给调用方，建议在 yield 前加 try/except
• 协程扩展：Python 3.5+ 中 yield from 支持委托子生成器，async def + await 是异步生成器演进方向

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~