Pandas文本分类与标签生成教程

在文章实战开发的过程中，我们经常会遇到一些这样那样的问题，然后要卡好半天，等问题解决了才发现原来一些细节知识点还是没有掌握好。今天golang学习网就整理分享《Pandas文本关键词分类与标签生成教程》，聊聊，希望可以帮助到正在努力赚钱的你。

在处理非结构化文本数据时，经常需要根据文本内容将其归类到预定义的类别中。一个常见的方法是识别文本中特定关键词的出现频率，并以此作为判断其类别倾向的依据。本教程将指导您完成一个实用的文本分类任务：给定一个包含文本内容的Pandas DataFrame列和一组按类别划分的关键词列表，计算每行文本中每个关键词类别的“概率”，并最终为每行分配概率最高的类别标签。

核心概念与方法

要实现上述目标，我们需要掌握以下几个核心概念和方法：

1. 关键词组定义与管理: 将不同类别的关键词组织成一个易于访问和迭代的结构，例如Python字典。
2. 文本预处理与分词: 对原始文本进行标准化处理，如转换为小写，并将其拆分成独立的单词（分词），以便进行准确的匹配和计数。
3. 词频统计: 高效地统计分词后文本中每个单词的出现频率，这是计算概率的基础。
4. 类别概率计算: 根据预定义的关键词列表和文本中的词频，计算每个类别的“概率”。这里的概率定义为：特定类别关键词总数 / 文本总词数。
5. 最高概率类别选择: 比较所有类别的概率，选出最高者作为最终标签。如果所有类别概率均为零，则返回一个默认值（如NaN）。
6. Pandas apply 函数的正确使用: 将自定义的分类逻辑高效地应用到DataFrame的每一行或每一列。

实现步骤与代码示例

我们将通过一个具体的例子来演示上述过程。假设我们有一个包含“内容（content）”列的DataFrame，并且我们希望根据其中出现的“水果”、“动物”或“国家”关键词来打标签。

首先，导入必要的库并定义我们的关键词类别。

import re
import pandas as pd
from collections import Counter

# 定义关键词类别及其对应的关键词列表
labels = {
    'fruits': ['mango', 'apple', 'lichi'],
    'animals': ['dog', 'cat', 'cow', 'monkey'],
    'country': ['us', 'ca', 'au', 'br'],
}

# 示例DataFrame
data = {
    'content': [
        'My favorite fruit is mango. I like lichies too. I live in au. Cows are domestic animals.',
        'I own RTX 4090...',
        'There is political conflict between us and ca.',
        'au, br mango, lichi apple,.... \n cat, cow, monkey donkey dogs'
    ]
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)

接下来，我们编写核心函数 calculate_probability，它将负责对单行文本进行处理并返回最高概率的标签。

def calculate_probability(text, labels_dict):
    """
    计算给定文本中各关键词类别的概率，并返回最高概率的类别标签。

    参数:
    text (str): 输入的文本字符串。
    labels_dict (dict): 包含关键词类别的字典，键为类别名称，值为关键词列表。

    返回:
    str: 概率最高的类别标签，如果所有类别概率为0则返回 'NaN'。
    """
    # 1. 文本预处理与分词：转换为小写并提取所有单词
    words = re.findall(r'\b\w+\b', text.lower())
    word_count = len(words)

    # 如果文本为空或没有单词，则无法计算概率
    if word_count == 0:
        return 'NaN'

    # 2. 词频统计：使用Counter高效统计单词频率
    counts = Counter(words)

    # 3. 类别概率计算：遍历每个类别，累加关键词词频
    probs = {}
    for k, l_list in labels_dict.items():
        # 对于每个类别，统计其关键词在文本中出现的总次数
        # 注意：这里是精确匹配分词后的单词。
        category_keyword_count = sum(counts[w] for w in l_list)
        probs[k] = category_keyword_count / word_count

    # 4. 最高概率类别选择
    # 找出概率最高的类别名称
    max_label = max(probs, key=probs.get)

    # 如果最高概率大于0，则返回该标签；否则返回'NaN'
    return max_label if probs[max_label] > 0 else 'NaN'

# 将函数应用到DataFrame的 'content' 列
# 注意：当对Series应用函数时，函数应接收Series的单个元素作为输入。
# 额外的参数 (labels_dict) 通过关键字参数传递给apply。
df['label'] = df['content'].apply(calculate_probability, labels_dict=labels)

print("\n处理后的DataFrame:")
print(df)

代码解析

1. re.findall(r'\b\w+\b', text.lower()):

   • text.lower(): 将所有文本转换为小写，确保大小写不敏感的匹配。
   • r'\b\w+\b': 这是一个正则表达式模式。
     • \b：匹配单词边界，确保只匹配完整的单词。
     • \w+：匹配一个或多个字母、数字或下划线字符。
   • re.findall()：查找所有不重叠的匹配项，并以列表形式返回。这有效地将文本分词为独立的单词。

2. collections.Counter(words):

   • Counter 是Python collections 模块提供的一个非常有用的工具，专门用于计数可哈希对象。
   • 它接收一个可迭代对象（这里是单词列表 words），并返回一个字典子类，其中键是元素，值是它们的计数。这比手动构建字典进行计数更简洁高效。

3. probs = {} ... for k, l_list in labels_dict.items(): ... sum(counts[w] for w in l_list) ...:

   • 这个循环遍历 labels_dict 中的每个类别（例如 'fruits', 'animals'）。
   • 对于每个类别 k，它获取其对应的关键词列表 l_list。
   • sum(counts[w] for w in l_list)：这是一个生成器表达式，它遍历 l_list 中的每个关键词 w，然后从 counts （词频统计结果）中获取 w 的出现次数。如果 w 不在 counts 中，counts[w] 会返回 0。所有这些计数被累加，得到该类别关键词在文本中的总出现次数。
   • 最后，将总出现次数除以 word_count

终于介绍完啦！小伙伴们，这篇关于《Pandas文本分类与标签生成教程》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识，快来关注吧！