python教程技术文章
-
Polars处理大文件需用scan_csv()+惰性计算，而非read_csv()；必须显式select和filter以实现列裁剪与谓词下推；多线程依赖文件格式与操作链，避免collect()前中断惰性流。350 收藏 -
结论：实现全异步非阻塞需HTTP客户端、文件I/O、数据库驱动三者皆异步；Motor是Python中唯一成熟稳定的MongoDB异步驱动，必须使用而非用PyMongo+run_in_executor包装。350 收藏 -
PyCharm默认不识别pytest，因仅检查标准库unittest而忽略需显式安装的第三方包；必须在项目解释器中安装pytest并手动将Defaulttestrunner设为pytest，二者缺一不可。350 收藏 -
Python初学者应首选scikit-learn：统一接口、文档清晰、算法丰富；需重视数据预处理（缺失值填充、标准化、独热编码），严格区分训练/测试集的scaler拟合；从LogisticRegression、RandomForest、KMeans入门；用Pipeline封装流程防数据泄露；评估时须结合混淆矩阵、F1、ROC-AUC等多指标，避免仅依赖准确率。350 收藏 -
本文介绍如何对包含向量（如列表）的PandasSeries或DataFrame进行逐行百分比变化（pct_change）计算，推荐使用DataFrame作为中间结构以提升可读性、性能与健壮性，并提供简洁、可扩展的实现方案。349 收藏 -
阻塞IO调用时线程挂起等待数据就绪，非阻塞IO立即返回并抛出BlockingIOError；实际高并发中需结合IO多路复用（如select/epoll）与非阻塞IO协同工作，asyncio即基于此机制封装。349 收藏 -
Python图像识别进阶关键在于打通OpenCV底层能力与深度学习语义理解：需对齐预处理（通道、归一化）、善用OpenCVDNN模块轻量部署、并以OpenCV辅助数据增强与后处理闭环。349 收藏 -
pd.crosstab统计全0或报错主因是输入列索引未对齐，应重置索引并保持Series类型；多条件需正确嵌套而非list嵌套；三条件推荐pivot_table。349 收藏 -
最直接可靠的方式是调用CreateFile并设dwShareMode=0和OPEN_EXISTING；若返回INVALID_HANDLE_VALUE且GetLastError()为ERROR_SHARING_VIOLATION，说明文件被独占打开。349 收藏 -
PythonOperator应仅作调度胶水，业务逻辑须抽离为独立模块；禁用硬编码连接/变量，参数通过op_kwargs传递；慎用provide_context，函数签名需显式声明**context；重试、连接交由Airflow管理；CPU密集型任务应换用BashOperator或KubernetesPodOperator。349 收藏 -
APScheduler适用于单机爬虫调度，配合SQLAlchemy可持久化任务；分布式场景下应作为本地执行器，由中心调度器分发任务；强依赖、DAG或跨语言需求时需换用Celery、Airflow等方案。349 收藏 -
requests.get()默认将响应体全部加载到内存，大文件易导致OOM；应使用stream=True流式下载，配合iter_content分块写入磁盘，并配置超时、重试与连接复用以增强健壮性。349 收藏 -
类型别名是提升可读性、维护性和协作效率的关键工具，应在必要时定义，命名用PascalCase且自解释，优先复用标准库别名，避免嵌套过深或掩盖设计问题。349 收藏 -
多条件筛选必须用&、|、~且每条件加括号，禁用and/or/not；缺失值判断用isna()/notna()，禁用==np.nan；字符串列需先转数值再比较。349 收藏 -
int、str、tuple修改后ID变了，因为它们是不可变类型，所谓“修改”实为创建新对象并重新绑定变量；其内存值不可原地更改，id()变化反映的是引用指向变更而非内容改变。349 收藏