HTML数据转PandasDataFrame方法详解

本教程针对网页数据抓取与分析中常见的HTML解析难题，提供了一套实用的解决方案。当遇到非标准表格结构的HTML，特别是嵌套在div标签中的键值对信息时，传统方法往往难以奏效。本文将详细讲解如何结合Beautiful Soup库与Pandas库，巧妙地从复杂的HTML div结构中提取非结构化的文本信息，并通过自定义分隔符将其转化为规范的键值对。随后，我们将这些结构化数据导入Pandas DataFrame，通过转置、重命名等操作，最终生成符合分析需求的整洁表格数据，助力高效的数据分析与挖掘。文章包含完整代码示例，注意事项以及扩展，助力提升数据提取效率。

1. 引言与问题背景

在数据抓取和分析过程中，我们经常会遇到需要从HTML页面中提取结构化信息的情况。虽然许多HTML表格可以直接使用Pandas的read_html函数进行解析，但对于非标准表格结构，特别是嵌套在div标签中的键值对信息，则需要更精细的解析方法。本教程将展示如何结合Beautiful Soup和Pandas，将一个包含多个div标签的HTML片段转换为一个规整的Pandas DataFrame，以便后续的数据分析。

假设我们有以下HTML片段，其中包含公司的一些基本信息：

<div class="companyProfileHeader">
    <div>Industry<a href="/stock-screener/?sp=country::5|sector::a|industry::146|equityType::a&lt;eq_market_cap;1">Life Sciences Tools &amp; Services</a></div>
    <div>Sector<a href="/stock-screener/?sp=country::5|sector::18|industry::a|equityType::a&lt;eq_market_cap;1">Healthcare</a></div>
    <div>Employees<p class="bold">17000</p></div>
    <div>Equity Type<p class="bold">ORD</p></div>
</div>

我们的目标是将其转换为如下Pandas DataFrame：

+--------------------------------+------------+-----------+-------------+
|            Industry            |   Sector   | Employees | Equity Type |
+--------------------------------+------------+-----------+-------------+
| Life Sciences Tools & Services | Healthcare |     17000 | ORD         |
+--------------------------------+------------+-----------+-------------+

2. 准备工作

在开始之前，请确保您的Python环境中已安装beautifulsoup4和pandas库。如果尚未安装，可以使用pip进行安装：

pip install beautifulsoup4 pandas

3. 使用Beautiful Soup解析HTML

首先，我们需要使用Beautiful Soup解析HTML字符串，并定位到包含目标信息的父div元素。

from bs4 import BeautifulSoup
import pandas as pd

html_content = """
<div class="companyProfileHeader">
<div>Industry<a href="/stock-screener/?sp=country::5|sector::a|industry::146|equityType::a&lt;eq_market_cap;1">Life Sciences Tools &amp; Services</a></div>
<div>Sector<a href="/stock-screener/?sp=country::5|sector::18|industry::a|equityType::a&lt;eq_market_cap;1">Healthcare</a></div>
<div>Employees<p class="bold">17000</p></div>
<div>Equity Type<p class="bold">ORD</p></div>
</div>
"""

# 创建Beautiful Soup对象
soup = BeautifulSoup(html_content, "html.parser")

# 查找包含公司信息的父div
company_profile_div = soup.find("div", class_="companyProfileHeader")

# 提取每个子div中的文本信息
# 使用get_text(strip=True, separator="~")方法，可以在提取文本时自动去除空白，
# 并用指定的分隔符连接不同标签内的文本。这对于区分键和值非常关键。
extracted_texts = [
    div.get_text(strip=True, separator="~")
    for div in company_profile_div.find_all("div")
]

print("原始提取文本列表:", extracted_texts)
# 输出: ['Industry~Life Sciences Tools & Services', 'Sector~Healthcare', 'Employees~17000', 'Equity Type~ORD']

在上述代码中，get_text(strip=True, separator="~")是关键。它能够将每个div标签内的所有文本内容（包括子标签如和

中的文本）连接起来，并用~符号分隔。这样，我们就能得到一个清晰的"键~值"字符串。

接下来，我们需要将这些"键~值"字符串分割成独立的键和值对。

# 将每个字符串按"~"分割成键值对
final_lst = [item.split("~") for item in extracted_texts]

print("分割后的键值对列表:", final_lst)
# 输出: [['Industry', 'Life Sciences Tools & Services'], ['Sector', 'Healthcare'], ['Employees', '17000'], ['Equity Type', 'ORD']]

现在，final_lst是一个列表的列表，每个子列表包含一个键和其对应的值。

4. 转换为Pandas DataFrame

有了final_lst，我们可以将其轻松转换为Pandas DataFrame。然而，直接转换会得到一个两列的DataFrame，其中第一列是键，第二列是值。为了得到期望的输出格式（键作为列名，值作为一行数据），我们需要进行一些转置和重命名操作。

# 1. 将列表转换为DataFrame
# 此时DataFrame的行是键值对，列是索引0和1
df = pd.DataFrame(final_lst)
print("\n初始DataFrame:\n", df)
# 输出:
#          0                               1
# 0  Industry  Life Sciences Tools & Services
# 1    Sector                      Healthcare
# 2 Employees                           17000
# 3 Equity Type                             ORD

# 2. 转置DataFrame
# 将原来的行变为列，列变为行。现在第一行包含所有键，第二行包含所有值。
df = df.transpose()
print("\n转置后的DataFrame:\n", df)
# 输出:
#           0           1          2            3
# 0  Industry      Sector  Employees  Equity Type
# 1  Life Sciences Tools & Services  Healthcare      17000          ORD

# 3. 将第一行设置为列名
# df.iloc[0] 获取DataFrame的第一行作为新的列名
df.rename(columns=df.iloc[0], inplace=True)
print("\n设置列名后的DataFrame:\n", df)
# 输出:
#          Industry      Sector Employees Equity Type
# 0  Industry      Sector Employees Equity Type
# 1  Life Sciences Tools & Services  Healthcare     17000         ORD

# 4. 删除作为列名的第一行
# 因为第一行现在已经作为列名，其数据本身已无用，需要删除。
df.drop(df.index[0], inplace=True)
print("\n最终DataFrame:\n", df)
# 输出:
#                        Industry    Sector Employees Equity Type
# 1  Life Sciences Tools & Services  Healthcare     17000         ORD

通过这四个步骤，我们成功地将HTML中的结构化信息转换为一个整洁、易于分析的Pandas DataFrame。

5. 完整代码示例

from bs4 import BeautifulSoup
import pandas as pd

# 待解析的HTML内容
html_content = """
<div class="companyProfileHeader">
<div>Industry<a href="/stock-screener/?sp=country::5|sector::a|industry::146|equityType::a&lt;eq_market_cap;1">Life Sciences Tools &amp; Services</a></div>
<div>Sector<a href="/stock-screener/?sp=country::5|sector::18|industry::a|equityType::a&lt;eq_market_cap;1">Healthcare</a></div>
<div>Employees<p class="bold">17000</p></div>
<div>Equity Type<p class="bold">ORD</p></div>
</div>
"""

# 1. 使用Beautiful Soup解析HTML并提取文本
soup = BeautifulSoup(html_content, "html.parser")
company_profile_div = soup.find("div", class_="companyProfileHeader")

if company_profile_div:
    # 提取每个子div中的文本，并用"~"分隔键和值
    extracted_texts = [
        div.get_text(strip=True, separator="~")
        for div in company_profile_div.find_all("div")
    ]

    # 将"键~值"字符串分割成独立的键和值对
    final_lst = [item.split("~") for item in extracted_texts]

    # 2. 转换为Pandas DataFrame
    df = pd.DataFrame(final_lst)

    # 3. 转置DataFrame，使键成为一行，值成为另一行
    df = df.transpose()

    # 4. 将第一行（包含键）设置为列名
    df.rename(columns=df.iloc[0], inplace=True)

    # 5. 删除作为列名的第一行
    df.drop(df.index[0], inplace=True)

    print("最终生成的DataFrame:")
    print(df)
else:
    print("未找到指定的HTML元素 'companyProfileHeader'。")

6. 注意事项与扩展

• 分隔符的选择： 在get_text(separator="~")中，分隔符~的选择很重要。应选择一个在实际数据中极不可能出现的字符，以避免数据混淆。如果数据中可能包含~，可以考虑使用更复杂的正则表达式或Beautiful Soup的其他方法来精确提取键和值。
• HTML结构变化： 本教程的方法依赖于HTML结构的相对稳定性（即键和值都位于同一个div内，并且可以通过get_text提取）。如果HTML结构发生变化，例如键和值位于不同的兄弟div中，则需要调整Beautiful Soup的解析逻辑。
• 错误处理： 在实际应用中，应加入更多的错误处理机制，例如检查company_profile_div是否为None，或者split("~")后列表长度是否为2，以确保数据的完整性和代码的健壮性。
• 数据类型转换： 提取出的数据默认为字符串类型。如果需要进行数值计算（如Employees），请记得使用df['Employees'] = pd.to_numeric(df['Employees'])等方法进行类型转换。
• 多个记录： 如果HTML中包含多个companyProfileHeader类似的结构，表示多条公司记录，则需要在一个循环中处理每个记录，并将每个记录生成的DataFrame追加到一个列表中，最后使用pd.concat合并所有DataFrame。

7. 总结

通过本教程，我们学习了如何利用Beautiful Soup库的强大解析能力和Pandas库的数据处理功能，将复杂的HTML div结构中的非结构化文本数据有效地转换为结构化的Pandas DataFrame。这种方法对于处理那些不规则或非标准的HTML表格数据尤其有用，为后续的数据清洗、分析和可视化奠定了坚实的基础。掌握这种技巧，将大大提升从网页中获取和利用数据的效率。

今天关于《HTML数据转PandasDataFrame方法详解》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！