-
必须用set记录已访问URL（标准化处理）并限制递归深度，结合内容校验避免无效200响应；Scrapy因封装去重、深度控制等机制更稳定；asyncio需用队列替代递归防内存溢出；urljoin()须确保baseURL以/结尾。350 收藏 -
Polars处理大文件需用scan_csv()+惰性计算，而非read_csv()；必须显式select和filter以实现列裁剪与谓词下推；多线程依赖文件格式与操作链，避免collect()前中断惰性流。350 收藏 -
结论：实现全异步非阻塞需HTTP客户端、文件I/O、数据库驱动三者皆异步；Motor是Python中唯一成熟稳定的MongoDB异步驱动，必须使用而非用PyMongo+run_in_executor包装。350 收藏 -
Python图像识别进阶关键在于打通OpenCV底层能力与深度学习语义理解：需对齐预处理（通道、归一化）、善用OpenCVDNN模块轻量部署、并以OpenCV辅助数据增强与后处理闭环。349 收藏 -
pd.crosstab统计全0或报错主因是输入列索引未对齐，应重置索引并保持Series类型；多条件需正确嵌套而非list嵌套；三条件推荐pivot_table。349 收藏 -
最直接可靠的方式是调用CreateFile并设dwShareMode=0和OPEN_EXISTING；若返回INVALID_HANDLE_VALUE且GetLastError()为ERROR_SHARING_VIOLATION，说明文件被独占打开。349 收藏 -
PythonOperator应仅作调度胶水，业务逻辑须抽离为独立模块；禁用硬编码连接/变量，参数通过op_kwargs传递；慎用provide_context，函数签名需显式声明**context；重试、连接交由Airflow管理；CPU密集型任务应换用BashOperator或KubernetesPodOperator。349 收藏 -
APScheduler适用于单机爬虫调度，配合SQLAlchemy可持久化任务；分布式场景下应作为本地执行器，由中心调度器分发任务；强依赖、DAG或跨语言需求时需换用Celery、Airflow等方案。349 收藏 -
requests.get()默认将响应体全部加载到内存，大文件易导致OOM；应使用stream=True流式下载，配合iter_content分块写入磁盘，并配置超时、重试与连接复用以增强健壮性。349 收藏 -
类型别名是提升可读性、维护性和协作效率的关键工具，应在必要时定义，命名用PascalCase且自解释，优先复用标准库别名，避免嵌套过深或掩盖设计问题。349 收藏 -
多条件筛选必须用&、|、~且每条件加括号，禁用and/or/not；缺失值判断用isna()/notna()，禁用==np.nan；字符串列需先转数值再比较。349 收藏 -
int、str、tuple修改后ID变了，因为它们是不可变类型，所谓“修改”实为创建新对象并重新绑定变量；其内存值不可原地更改，id()变化反映的是引用指向变更而非内容改变。349 收藏 -
buffering参数控制文件I/O缓冲策略：默认-1启用系统默认缓冲（通常8192字节）及文本模式行缓冲；设0禁用缓冲（仅二进制模式），设1启用行缓冲（仅文本模式），设大于1的整数指定缓冲区字节大小。349 收藏 -
lambda是仅支持单表达式求值的匿名函数对象，非语法糖，不可含语句或赋值；适用于短小回调如sorted/map/filter的key/func参数，复杂逻辑、需调试、复用或类型提示时应使用def。348 收藏 -
CI中pytest找不到测试文件或报错，主因是工作目录与Python路径不一致、缺少__init__.py、环境变量缺失、临时文件并发冲突及coverage路径配置错误。347 收藏
