DataFrame列编号提取与映射方法

本文揭秘了一种高效处理混乱文档结构的实用技巧：通过正则表达式精准提取章节编号（如“1.3.1”），并结合上下文记忆机制，智能回填无编号标题（如“Synopsis”）所归属的最近有效编号——不仅巧妙规避了逐行状态传递的脆弱性，还以子串匹配实现高容错的语义关联，轻松应对空值、空白行和命名不规范等真实业务痛点，让半结构化文本解析变得稳健又可复用。

本文介绍使用正则表达式与上下文记忆机制，从非规范化的 section_name 中精准提取 section_id，并对无编号条目（如 "Synopsis"）实现基于历史匹配的智能回填。

本文介绍使用正则表达式与上下文记忆机制，从非规范化的 section_name 中精准提取 section_id，并对无编号条目（如 "Synopsis"）实现基于历史匹配的智能回填。

在处理文档结构化数据（如测试用例、章节大纲、SOP 条款）时，常遇到 section_name 列混合了带编号（如 "1.3.1.Test Period I - Screening13"）和纯标题（如 "Synopsis"）的文本，且存在空值或空白行。目标是生成语义一致的 section_id 列：对含编号项提取前缀（如 "1.3.1"），对无编号项则匹配其所属的最近有效编号——这要求算法兼具模式识别能力与上下文关联能力。

核心思路：正则提取 + 历史映射表

我们不依赖逐行状态传递（易出错），而是构建一个动态字典 prev_ids，用于记录每个“编号+标题”组合中剥离编号后的标题部分（即 sec_name.strip()）与其对应 sec_id 的映射关系。后续遇到纯标题时，通过子串匹配（in）快速回溯归属。

✅ 正确实现（推荐）

import pandas as pd
import numpy as np
import re

# 示例数据（含空值、None、空白字符串）
data = {
    'section_name': [
        '1.Test Summary9',
        '1.1.Synopsis9',
        '1.2.Schema12',
        '1.3.1.Test Period  I - Screening13',
        '1.3.2.Period II - obes-Treatment 15',
        'Synopsis',
        'Test Period  I - Screening',
        None,
        ''
    ]
}
df = pd.DataFrame(data)

def extract_section_id(row, id_map):
    name = row['section_name']
    # 跳过 None、NaN、空字符串或纯空白
    if pd.isna(name) or str(name).strip() == '':
        return ''  # 或返回 np.nan，按需选择

    name_str = str(name).strip()
    # 正则匹配：捕获连续的数字+点号组合（支持 1、1.1、1.3.1 等）
    match = re.match(r'^(\d+(?:\.\d+)*)\.(.*)$', name_str)
    if match:
        sec_id, title_part = match.groups()
        # 将标题部分（去空格）作为 key，映射到当前编号
        id_map[title_part.strip()] = sec_id
        return sec_id
    else:
        # 非编号格式：尝试在历史标题中查找是否为子串（如 "Synopsis" in "1.1.Synopsis9" → True）
        for full_title, sec_id in id_map.items():
            if name_str in full_title or full_title in name_str:
                return sec_id
        return ''  # 未匹配到，返回空（或 np.nan）

# 初始化映射字典
id_mapping = {}
df['section_id'] = df.apply(lambda r: extract_section_id(r, id_mapping), axis=1)

? 关键细节说明：

• 正则 r'^(\d+(?:\.\d+)*)\.(.*)$'：
  ^ 和 $ 确保从头匹配；(\d+(?:\.\d+)*) 捕获编号（支持多级，如 1、1.1、1.3.1）；\. 匹配字面量点号；(.*) 捕获剩余标题内容。
• 智能回填逻辑：
  使用 name_str in full_title（而非严格相等），可覆盖 "Synopsis" 匹配 "1.1.Synopsis9"、"Test Period I - Screening" 匹配 "1.3.1.Test Period I - Screening13" 等场景。
• 空值处理统一：
  对 None、np.nan、空字符串均返回 ''（也可统一设为 np.nan，保持 dtype 一致性）。

⚠️ 注意事项：

• 若存在歧义匹配（如 "A" 同时出现在 "1.A" 和 "2.AB" 中），当前逻辑会返回最先注册的 sec_id。如需更精确匹配（如全词匹配），可改用 re.search(rf'\b{name_str}\b', full_title)。
• 该方法假设数据顺序有意义（即编号条目先于其对应的纯标题出现）。若顺序混乱，需先按业务逻辑排序（如按原始索引或辅助序号）。
• 性能提示：对超大数据集（>10⁵ 行），可预编译正则对象并改用 df['section_name'].str.extract() 批量处理编号行，再用 map() 回填纯标题。

运行后，df 输出如下：

                        section_name section_id
0                      1.Test Summary9          1
1                        1.1.Synopsis9        1.1
2                         1.2.Schema12        1.2
3   1.3.1.Test Period  I - Screening13      1.3.1
4  1.3.2.Period II - obes-Treatment 15      1.3.2
5                             Synopsis        1.1
6           Test Period  I - Screening      1.3.1
7                               None           
8                                     

此方案鲁棒性强、逻辑清晰，适用于真实业务中常见的半结构化文本解析任务。

到这里，我们也就讲完了《DataFrame列编号提取与映射方法》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！