PHP分割文本逐段过滤敏感词技巧

本文深入剖析了PHP中安全高效过滤敏感词的关键实践，强调不能简单依赖explode分段或stripos匹配，而应采用preg_split配合PREG_SPLIT_DELIM_CAPTURE保留分隔符以防止边界错位、使用mb_stripos确保UTF-8中文精准匹配，并通过预扫描、滑动窗口或AC自动机等策略彻底规避跨段漏检与性能瓶颈——每一个看似微小的处理细节，都可能成为绕过过滤的致命缺口，真正可靠的敏感词系统，始于对编码、边界和算法复杂度的敬畏。

用 preg_split 分段时保留分隔符更安全

直接用 explode 切文本，遇到连续换行、中英文混排或带空格的分隔符（比如 "\n\n" 或 "。"）容易漏切或错切，导致敏感词跨段残留。推荐用 preg_split 并开启 PREG_SPLIT_DELIM_CAPTURE 标志，把分隔符也捕获进结果数组，后续处理时能准确还原边界。

• 例如按中文句号、换行、两个及以上空格切分：preg_split('/([。！？；\n]|\s{2,})/u', $text, -1, PREG_SPLIT_DELIM_CAPTURE | PREG_SPLIT_NO_EMPTY)
• 这样得到的数组是 ['内容1', '。', '内容2', '\n\n', '内容3']，过滤时可跳过分隔符项，只扫字符串段
• 不加 PREG_SPLIT_DELIM_CAPTURE 就丢掉了标点，拼回去时可能把“机密。”和“文件”连成“机密。文件”，绕过“机密文件”关键词检测

mb_stripos 比 stripos 更可靠地匹配中文敏感词

PHP 默认的 stripos 按字节匹配，遇到 UTF-8 中文会截断字符，导致假阴性（该命中没命中）。尤其在分段后文本长度不一、含 emoji 或生僻字时风险更高。

• 必须用 mb_stripos($segment, $word, 0, 'UTF-8')，显式指定编码
• 敏感词列表本身也要确保是 UTF-8 编码，避免从数据库或配置文件读取时乱码（常见于 MySQL 连接未设 SET NAMES utf8mb4）
• 若敏感词含正则元字符（如 "+"、"."），别直接丢进 mb_stripos —— 它不支持通配，得先 preg_quote($word, '/') 再进 preg_match

逐段过滤后拼接需防“跨段敏感词”漏检

有些敏感词天然横跨分隔符，比如“国家机密”被切在两段末尾和开头：“国家” + “机密”。纯逐段过滤无法发现这类情况。

• 简单补救：对每段末尾 N 个字符（如 5）和下一段开头 N 个字符拼起来再查一次，N 取最长敏感词长度
• 更稳妥的做法是预扫描全文标记所有敏感词位置，再按分段逻辑做区间映射，而不是真“分段后过滤”
• 如果业务允许延迟，建议改用流式扫描（如用 mb_substr 滑动窗口），比切分再合并更准，也省去边界处理逻辑

性能差往往卡在敏感词循环里

每段都遍历全部敏感词列表，O(n×m) 复杂度，1000 段 × 500 词就 50 万次调用 mb_stripos，CPU 直接拉满。

• 优先用 AC 自动机（如 php-aho-corasick 扩展），一次性扫描整段文本，时间复杂度接近 O(n)
• 若不能装扩展，至少把敏感词按首字符哈希分组，先 mb_substr($segment, 0, 1) 查对应组再遍历，减少 70%+ 无效匹配
• 注意：正则批量匹配（preg_match_all('/词1|词2|词3/u', $segment)）看似简洁，但词多时编译慢、回溯爆炸，实际比循环更慢

以上就是《PHP分割文本逐段过滤敏感词技巧》的详细内容，更多关于的资料请关注golang学习网公众号！