async/await提升aiohttp性能技巧
时间:2025-08-04 20:00:28 389浏览 收藏
在使用 `aiohttp` 发送大量 HTTP POST 请求时,`EventLoop` 阻塞问题可能导致 API 响应速度下降。本文针对此问题,提出了两种优化方案,旨在帮助开发者避免 `async/await` 场景下的阻塞。首先,针对大数据量下的 JSON 序列化耗时问题,建议预先手动序列化 JSON 数据,并利用 `asyncio.to_thread` 将序列化操作放入独立线程,避免阻塞事件循环。其次,通过安装 `aiohttp[speedups]` 或直接使用 IP 地址代替域名,加速 DNS 解析,从而减少连接建立时间。通过这些优化措施,可以显著提升 `aiohttp` 在高并发场景下的性能,提高 API 的响应速度。最后,文章还强调了重用 `ClientSession` 对象的重要性,以避免重复 DNS 解析带来的开销。
在使用 aiohttp 发送大量 HTTP POST 请求时,特别是当每个请求的数据量较大时,可能会遇到 EventLoop 阻塞的问题,导致请求发送延迟增加,影响 API 的响应速度。本文将介绍如何通过优化 JSON 序列化和 DNS 解析来解决这个问题。
优化 JSON 序列化
当使用 aiohttp 的 json 参数发送 JSON 数据时,aiohttp 会自动进行 JSON 序列化。对于小量数据,这个过程通常很快。但是,当数据量较大时(例如,每个请求 5MB),JSON 序列化可能会耗费较长时间(例如,30-40 毫秒),并阻塞 EventLoop。
为了避免阻塞,可以预先手动序列化 JSON 数据,然后使用 data 参数发送请求。以下是一个示例:
import asyncio import json import aiohttp async def send_request(session, url, obj): """ 发送 HTTP POST 请求,并手动序列化 JSON 数据。 """ def prepare_data(obj) -> bytes: """ 在独立的线程中序列化 JSON 数据,避免阻塞 EventLoop。 """ return json.dumps(obj).encode() # 使用 asyncio.to_thread 在独立的线程中执行序列化操作 data = await asyncio.to_thread(prepare_data, obj) async with session.post(url, data=data, headers={"Content-Type": "application/json"}) as resp: return await resp.text() async def main(): """ 主函数,用于测试发送请求。 """ url = "https://example.com/api" # 替换为你的 API 地址 data_to_send = {"key": "value", "data": "some large data"} # 替换为你的数据 async with aiohttp.ClientSession() as session: response = await send_request(session, url, data_to_send) print(response) if __name__ == "__main__": asyncio.run(main())
代码解释:
- prepare_data(obj) 函数: 这个函数负责将 Python 对象序列化为 JSON 字符串,然后编码为 bytes。关键在于,这个函数会在独立的线程中运行,以避免阻塞 EventLoop。
- asyncio.to_thread(prepare_data, obj): asyncio.to_thread 函数用于在独立的线程中运行 prepare_data 函数,并将结果返回给异步代码。
- session.post(url, data=data, headers={"Content-Type": "application/json"}): 使用 data 参数发送预先序列化的数据,并设置 Content-Type 为 application/json。
注意事项:
- 确保在序列化期间 obj 不会被修改。如果 obj 是可变对象,请考虑使用不可变对象,例如 tuple 或 frozenset。
- 使用 asyncio.to_thread 将序列化操作放到单独的线程中,避免阻塞 EventLoop。
加速 DNS 解析
aiohttp 在建立连接时需要进行 DNS 解析,如果 DNS 解析速度较慢,也会影响 API 的响应速度。可以通过以下两种方式加速 DNS 解析:
安装 aiohttp[speedups]: aiohttp[speedups] 包含 aiodns,这是一个异步 DNS 解析库,可以显著提高 DNS 解析速度。
pip install aiohttp[speedups]
直接使用 IP 地址: 如果知道服务器的 IP 地址,可以直接使用 IP 地址代替域名,从而完全跳过 DNS 解析。
async with aiohttp.ClientSession() as session: async with session.get("http://127.0.0.1:8000") as resp: #直接使用IP地址 print(resp.status)
重要提示:
- 重用 Session: 确保重用 aiohttp 的 ClientSession 对象。每次创建新的 ClientSession 对象都会导致 DNS 缓存失效,从而增加 DNS 解析的开销。
总结
通过预先手动序列化 JSON 数据和加速 DNS 解析,可以有效解决使用 aiohttp 发送大量请求时遇到的 EventLoop 阻塞问题,从而提高 API 的响应速度和性能。在实际应用中,可以根据具体情况选择合适的优化方案。
文中关于的知识介绍,希望对你的学习有所帮助!若是受益匪浅,那就动动鼠标收藏这篇《async/await提升aiohttp性能技巧》文章吧,也可关注golang学习网公众号了解相关技术文章。
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
332 收藏
-
147 收藏
-
112 收藏
-
430 收藏
-
133 收藏
-
197 收藏
-
225 收藏
-
157 收藏
-
252 收藏
-
410 收藏
-
119 收藏
-
217 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 511次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 498次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习