KAP网站动态公告数量获取方法

本文揭秘了为何传统HTML解析工具如BeautifulSoup无法获取KAP官网动态显示的公告数量（如`{{memberVm.disclosures.length}}`），并手把手教你绕过前端渲染陷阱，通过逆向分析并直接调用其后端REST API（`/tr/api/memberDisclosureQuery`），仅用几行Python代码就能精准、高效、稳定地提取真实公告总数与完整结构化数据——无需浏览器自动化，不依赖JavaScript执行，真正实现从“扒网页”到“取数据”的本质升级，为爬取各类现代单页应用（SPA）站点提供了可复用的高阶实战范式。

本文详解为何 BeautifulSoup 无法提取 KAP 官网中类似 {{memberVm.disclosures.length}} 的动态计数，以及如何通过逆向分析 API 接口，直接调用后端 JSON 接口精准获取真实公告总数与完整数据列表。

本文详解为何 BeautifulSoup 无法提取 KAP 官网中类似 `{{memberVm.disclosures.length}}` 的动态计数，以及如何通过逆向分析 API 接口，直接调用后端 JSON 接口精准获取真实公告总数与完整数据列表。

在使用 BeautifulSoup 抓取土耳其资本市场监管平台（KAP）的公告搜索页（如 此链接）时，开发者常遇到一个典型问题：页面顶部显示的「34 bildirim bulundu」（共34条公告）在 HTML 源码中实际为 AngularJS 模板语法 {{memberVm.disclosures.length}}，而非已渲染的数字。这是因为该数值由前端 JavaScript 异步请求后端 API 并动态插入 DOM —— BeautifulSoup 仅解析静态 HTML，无法执行 JS，因此永远无法获取真实数字。

✅ 正确方案：直连后端 REST API

KAP 前端通过 POST 请求调用以下接口获取公告数据：

https://www.kap.org.tr/tr/api/memberDisclosureQuery

该接口返回标准 JSON 格式响应，其中 data 字段即为公告列表，其长度即为真实公告总数。无需 Selenium 或 Playwright 等重量级工具，纯 requests 即可高效解决。

? 示例代码（获取总数 + 全量数据）

import requests

# KAP 公告查询 API 地址
API_URL = "https://www.kap.org.tr/tr/api/memberDisclosureQuery"

# 构造请求载荷（关键参数需与 URL 中一致）
payload = {
    "bdkMemberOidList": [],
    "bdkReview": "",
    "discIndex": [],
    "disclosureClass": "",
    "fromDate": "",
    "fromSrc": "Y",
    "inactiveMkkMemberOidList": [],
    "index": "",
    "isLate": "",
    "mainSector": "",
    "market": "",
    "memberType": None,
    "mkkMemberOidList": [],
    "prd": "",
    "ruleType": "",
    "sector": "",
    "srcCategory": "4",  # 对应 URL 中 cat=4
    "subjectList": ["srp2205201503"],  # 对应 URL 中 s=srp2205201503（主题编码）
    "subSector": "",
    "term": "",
    "toDate": "",
    "year": ""
}

# 发送 POST 请求（无需 headers 亦可成功，但建议添加以模拟真实浏览器）
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}

response = requests.post(API_URL, json=payload, headers=headers)
response.raise_for_status()  # 检查 HTTP 错误

data = response.json()

# ✅ 获取真实公告总数（即列表长度）
total_count = len(data)
print(f"✅ 共检索到 {total_count} 条公告")

# ✅ 提取每条公告的关键字段（示例）
for i, item in enumerate(data[:5], 1):  # 打印前5条作为示意
    title = item.get("kapTitle", "N/A").strip()
    publish_date = item.get("publishDate", "N/A")
    subject = item.get("subject", "N/A")
    print(f"{i}. [{publish_date}] {title[:50]}... → 主题: {subject}")

✅ 输出示例：
✅ 共检索到 34 条公告
1. [Dün 17:44] BİRLEŞİM MÜHENDİSLİK ISITMA SOĞUTMA HAVALANDIRMA SANAYİ VE TİCARET A.Ş.... → 主题: Yeni İş İlişkisi

⚠️ 关键注意事项

• 参数一致性：subjectList 和 srcCategory 必须严格匹配原始 URL 中的 s= 和 cat= 参数，否则返回空或错误结果；
• 无 CSRF/Token 限制：该 API 当前未启用鉴权，可直接调用，但请遵守 KAP 使用条款 及 robots.txt；
• 分页处理：当前接口默认返回全部结果（最多约 100 条），如需更多数据，需分析 page、size 等潜在分页参数（可通过浏览器 DevTools → Network → Fetch/XHR 查看完整请求）；
• 编码兼容性：返回 JSON 默认为 UTF-8，无需额外解码；若涉及土耳其语字符（如 İ, ş, ç），确保终端/IDE 支持 UTF-8 显示；
• 稳定性建议：将 API 调用封装为函数，并添加重试机制（如 tenacity 库）和异常日志，提升生产环境鲁棒性。

? 总结

当网页内容由 JavaScript 动态渲染时，执着于“解析 HTML”是低效且不可靠的。真正的 Web 抓取进阶思维是：跳过 DOM，直击数据源头。通过 Chrome DevTools 的 Network 面板捕获 XHR 请求，复现 API 调用，即可获得结构化、高精度、高性能的数据。本例不仅解决了 {{memberVm.disclosures.length}} 的提取难题，更提供了一套可复用的「前端→后端 API」逆向抓取方法论——适用于绝大多数现代 SPA 站点。

今天关于《KAP网站动态公告数量获取方法》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！