Python抓取Yahoo财报数据方法
时间：2025-12-05 10:48:33 265浏览 收藏
各位小伙伴们，大家好呀！看看今天我又给各位带来了什么文章？本文标题是《Python抓取Yahoo财报数据教程》，很明显是关于文章的文章哈哈哈，其中内容主要会涉及到等等，如果能帮到你，觉得很不错的话，欢迎各位多多点评和分享！
本教程旨在解决使用Python抓取Yahoo Finance动态加载财报数据的问题。由于Yahoo Finance的财报页面内容通过JavaScript动态加载，传统的BeautifulSoup直接解析HTML的方法往往无法获取完整数据。我们将深入探讨如何通过模拟浏览器API请求，直接从Yahoo Finance的后端接口获取结构化的历史财报数据，包括构建请求头、URL参数、JSON载荷以及处理日期筛选等关键步骤。
1. 动态内容抓取的挑战与API模拟
在尝试从Yahoo Finance等现代网站抓取数据时，一个常见的问题是页面内容并非全部包含在初始HTML响应中。特别是像财报日历这样的数据，通常会通过JavaScript在页面加载后异步地从后端API获取并渲染。这意味着，如果直接使用requests库获取页面HTML并结合BeautifulSoup进行解析，很可能只能得到一个空的或不完整的数据集。
原始尝试中，使用requests和BeautifulSoup去解析https://finance.yahoo.com/calendar/earnings?day={yesterday}页面，发现获取到的并非预期中的“昨日”财报数据，而是当前日期（如周日）的少量信息，这正是动态内容加载的典型表现。
解决这类问题的核心方法是模拟浏览器行为，直接调用网站后端用于获取数据的API接口。通过浏览器开发者工具（Network标签页），我们可以观察到页面加载过程中发出的XHR（XMLHttpRequest）请求，这些请求通常会返回JSON格式的结构化数据，这比解析HTML要高效和稳定得多。
2. 识别并模拟Yahoo Finance的财报API请求
通过分析Yahoo Finance财报页面的网络请求，我们可以发现其财报数据是通过向https://query2.finance.yahoo.com/v1/finance/visualization这个URL发送POST请求来获取的。这个请求的特点是：
- 请求方法： POST
- 请求URL： https://query2.finance.yahoo.com/v1/finance/visualization
- 请求头 (Headers)： 包含User-Agent等，模拟浏览器行为。
- URL参数 (Params)： 包含crumb、lang、region等。
- 请求体 (JSON Payload)： 这是一个复杂的JSON对象，定义了需要查询的实体类型、包含的字段、日期范围、排序方式等。
- Cookie： 可能需要特定的Cookie（如A3）来维持会话或通过认证。
3. 构建API请求参数
为了成功模拟这个API请求，我们需要精确地构建上述各项参数。
3.1 请求头 (Headers)
User-Agent是必不可少的，它让服务器认为我们是一个合法的浏览器请求。
headers = {
"User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:120.0) Gecko/20100101 Firefox/120.0",
}3.2 URL参数 (Params)
crumb是一个安全令牌，通常用于防止CSRF攻击，它的值可能会动态变化。lang和region定义了语言和地区。
params = {
"crumb": "EwuCwsPbKM2", # 注意：此crumb可能随时间变化，需要动态获取或更新
"lang": "en-US",
"region": "US",
"corsDomain": "finance.yahoo.com",
}3.3 请求体 (JSON Payload - query)
这是最关键的部分，它定义了我们想要获取的数据。
- entityIdType: 指定查询类型，这里是"earnings"。
- includeFields: 一个列表，包含我们希望在结果中看到的字段，例如股票代码、公司名称、EPS估值、实际EPS等。
- offset 和 size: 用于分页，offset是偏移量，size是每页返回的条目数。
- query: 定义了筛选条件。其中operands是一个列表，每个元素是一个条件。
- 例如，{"operands": ["startdatetime", "2023-12-15"], "operator": "gte"}表示开始日期大于等于2023-12-15。
- {"operands": ["startdatetime", "2023-12-16"], "operator": "lt"}表示开始日期小于2023-12-16。
- 这两个条件结合起来，就精确筛选出2023-12-15这一天的财报数据。
- "operator": "and"表示多个条件之间是“与”的关系。
- sortField 和 sortType: 定义了结果的排序字段和排序方式。
from datetime import date, timedelta
# 假设我们要获取2023年12月15日的财报数据
target_date = date(2023, 12, 15)
# 如果要获取“昨天”的财报，且确保是工作日，需要更复杂的日期逻辑
# 例如：
# today = date.today()
# target_date = today - timedelta(days=1)
# while target_date.weekday() > 4: # 0-Mon, 1-Tue, ..., 4-Fri, 5-Sat, 6-Sun
# target_date -= timedelta(days=1)
query_payload = {
"entityIdType": "earnings",
"includeFields": [
"ticker",
"companyshortname",
"eventname",
"startdatetime",
"startdatetimetype",
"epsestimate",
"epsactual",
"epssurprisepct",
"timeZoneShortName",
"gmtOffsetMilliSeconds",
],
"offset": 0,
"query": {
"operands": [
{"operands": ["startdatetime", f"{target_date}T00:00:00.000Z"], "operator": "gte"},
{"operands": ["startdatetime", f"{target_date + timedelta(days=1)}T00:00:00.000Z"], "operator": "lt"},
{"operands": ["region", "us"], "operator": "eq"},
],
"operator": "and",
},
"size": 100, # 可以根据需要调整，获取更多数据
"sortField": "companyshortname",
"sortType": "ASC",
}3.4 Cookie
某些情况下，Yahoo Finance会检查特定的Cookie来验证会话。A3 Cookie就是其中之一。它的值也是动态的，可能会过期。
# 注意：此cookie可能随时间变化，需要动态获取或更新 cookie_value = "d=AQABBK8KXmQCEA8-VE0dBLqG5QEpQ7OglmEFEgABCAHCeWWpZfNtb2UB9qMAAAcIqgpeZJj7vK8&S=AQAAAqhyTAOrxcxONc4ktfzCOkg"
4. 完整示例代码
结合上述所有参数，我们可以构建一个完整的Python脚本来抓取指定日期的Yahoo Finance财报数据。
import requests
from datetime import date, timedelta
def get_yahoo_earnings(target_date: date):
"""
从Yahoo Finance API获取指定日期的财报数据。
Args:
target_date (date): 目标日期，例如 date(2023, 12, 15)。
Returns:
list: 包含财报数据的列表，每个元素是一个字典。
"""
headers = {
"User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:120.0) Gecko/20100101 Firefox/120.0",
}
# URL参数，crumb可能需要定期更新
params = {
"crumb": "EwuCwsPbKM2", # 示例值，实际使用时可能需要更新
"lang": "en-US",
"region": "US",
"corsDomain": "finance.yahoo.com",
}
# 构建JSON请求体，用于指定查询条件
query_payload = {
"entityIdType": "earnings",
"includeFields": [
"ticker",
"companyshortname",
"eventname",
"startdatetime",
"startdatetimetype",
"epsestimate",
"epsactual",
"epssurprisepct",
"timeZoneShortName",
"gmtOffsetMilliSeconds",
],
"offset": 0,
"query": {
"operands": [
{"operands": ["startdatetime", f"{target_date}T00:00:00.000Z"], "operator": "gte"},
{"operands": ["startdatetime", f"{target_date + timedelta(days=1)}T00:00:00.000Z"], "operator": "lt"},
{"operands": ["region", "us"], "operator": "eq"},
],
"operator": "and",
},
"size": 100, # 每页获取的最大条目数
"sortField": "companyshortname",
"sortType": "ASC",
}
# Cookie，A3值也可能需要定期更新
cookie_value = "d=AQABBK8KXmQCEA8-VE0dBLqG5QEpQ7OglmEFEgABCAHCeWWpZfNtb2UB9qMAAAcIqgpeZJj7vK8&S=AQAAAqhyTAOrxcxONc4ktfzCOkg" # 示例值，实际使用时可能需要更新
url = "https://query2.finance.yahoo.com/v1/finance/visualization"
try:
with requests.Session() as s:
s.headers.update(headers)
s.cookies["A3"] = cookie_value # 设置会话cookie
response = s.post(url, params=params, json=query_payload)
response.raise_for_status() # 检查HTTP请求是否成功
data = response.json()
# 解析结果
earnings_data = []
if data and "finance" in data and "result" in data["finance"] and \
data["finance"]["result"] and data["finance"]["result"][0]["documents"]:
for doc in data["finance"]["result"][0]["documents"]:
if "rows" in doc:
for r in doc["rows"]:
# r[0]是ticker, r[1]是companyshortname, r[2]是eventname, r[3]是startdatetime
earnings_data.append({
"ticker": r[0],
"company_name": r[1],
"event_name": r[2],
"start_datetime": r[3],
# 其他字段可以根据includeFields的顺序和实际返回的r[]索引添加
})
return earnings_data
except requests.exceptions.RequestException as e:
print(f"请求失败: {e}")
return []
except KeyError as e:
print(f"解析JSON数据失败，可能数据结构发生变化: {e}")
return []
if __name__ == "__main__":
# 示例：获取2023年12月15日的财报数据
# 请注意，crumb和cookie_value可能已经失效，需要从浏览器开发者工具中获取最新的值。
target_date_example = date(2023, 12, 15)
print(f"正在获取 {target_date_example} 的财报数据...")
earnings = get_yahoo_earnings(target_date_example)
if earnings:
print(f"成功获取到 {len(earnings)} 条财报数据：")
for item in earnings:
print(f"公司: {item['company_name']:<40} 事件: {item['event_name'] or '':<40} 时间: {item['start_datetime']}")
else:
print("未能获取到财报数据。请检查crumb和cookie是否有效，或日期是否有数据。")
print("\n--- 尝试获取上一个工作日的财报数据 ---")
today = date.today()
last_weekday = today - timedelta(days=1)
# 循环直到找到一个工作日 (周一到周五)
while last_weekday.weekday() > 4: # 5是周六，6是周日
last_weekday -= timedelta(days=1)
print(f"正在获取上一个工作日 ({last_weekday}) 的财报数据...")
last_weekday_earnings = get_yahoo_earnings(last_weekday)
if last_weekday_earnings:
print(f"成功获取到 {len(last_weekday_earnings)} 条财报数据：")
for item in last_weekday_earnings[:5]: # 仅打印前5条
print(f"公司: {item['company_name']:<40} 事件: {item['event_name'] or '':<40} 时间: {item['start_datetime']}")
else:
print("未能获取到上一个工作日的财报数据。")5. 数据解析与处理
API返回的数据是JSON格式，结构清晰。在get_yahoo_earnings函数中，我们通过response.json()获取到Python字典，然后可以根据其结构进行解析。
核心数据位于data["finance"]["result"][0]["documents"][0]["rows"]。每个row是一个列表，其中的元素对应于includeFields中定义的字段顺序。例如，r[0]是ticker，r[1]是companyshortname。为了提高可读性和健壮性，可以将这些列表项映射到字典中，如示例代码所示。
6. 注意事项
- 动态参数 (crumb 和 cookie)： crumb和A3 Cookie的值是动态生成的，并且可能具有时效性。示例代码中的值可能很快失效。在实际应用中，你可能需要：
- 定期手动更新： 每次运行脚本前，从浏览器开发者工具中获取最新的crumb和A3 Cookie值。
- 自动化获取（高级）： 使用Selenium或其他自动化工具模拟浏览器访问Yahoo Finance页面，然后从页面源码或网络请求中提取这些动态值。这超出了本教程的范围，但对于生产环境的爬虫是必要的。
- 频率限制与IP封禁： 频繁或过快的请求可能会导致你的IP地址被Yahoo Finance暂时或永久封禁。建议在请求之间添加适当的延迟（例如，使用time.sleep()），并考虑使用代理IP池。
- API结构变化： Yahoo Finance的API结构可能会在未来发生变化。如果脚本突然失效，请检查其网站的网络请求，看是否有新的API端点、参数或数据结构调整。
- 错误处理： 示例代码中包含了基本的try-except块来处理网络请求失败和JSON解析错误。在实际项目中，应增加更详细的错误日志记录和重试机制。
- 日期处理： 确保日期格式（YYYY-MM-DDTHH:mm:ss.sssZ）符合API要求。使用datetime模块进行日期计算可以避免许多常见错误。对于获取“上一个工作日”的需求，需要额外的逻辑来跳过周末。
7. 总结
通过模拟API请求，我们成功绕过了Yahoo Finance财报页面动态加载内容的限制，直接获取到了结构化的历史财报数据。这种方法比传统的HTML解析更加稳定和高效，尤其适用于处理JavaScript动态渲染的网站。尽管存在crumb和cookie等动态参数的挑战，但理解其工作原理并采取相应的更新策略，是构建健壮网络爬虫的关键。掌握这种API模拟技术，将极大地扩展你在数据抓取方面的能力。
今天关于《Python抓取Yahoo财报数据方法》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
206 收藏
-
382 收藏
-
201 收藏
-
272 收藏
-
106 收藏
-
227 收藏
-
168 收藏
-
458 收藏
-
142 收藏
-
259 收藏
-
113 收藏
-
327 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案，代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景，打造一站式知识长龙服务，适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例，全面具体可落地，从理论到实践，一步一步将GO核心编程技术、编程思想、底层实现融会贯通，使学习者贴近时代脉搏，做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信：Le-studyg；在课程中，我们将首先介绍MySQL8的新特性，包括性能优化、安全增强、新数据类型等，帮助学生快速熟悉MySQL8的最新功能。接着，我们将深入解析MySQL的网络通信机制，包括协议、连接管理、数据传输等，让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网，分为导航，轮播，关于我们，成功案例，服务流程，团队介绍，数据部分，公司动态，底部信息等内容区块。网站整体采用CSSGrid布局，支持响应式，有流畅过渡和展现动画。
- 立即学习 485次学习