PHP字符串去重技巧与实战方法

PHP字符串去重远不止调用一个函数那么简单，核心在于精准定义“重复”并严格保持原始顺序——无论是单字节英文、UTF-8中文、中英文混合词汇，还是需忽略大小写与标点的语义级去重，都必须结合字符编码特性（如用mb_substr替代str_split处理中文）、分词策略（正则提取汉字块与单词）和柔性映射机制（标准化键值关联原始内容）来实现；本文直击实战痛点，提供安全保序、高效可扩展、兼顾多语言与业务语义的一站式去重方案。

PHP 字符串去重，核心是保留字符的首次出现顺序、剔除重复项，不是简单去重数组。常见需求包括：纯字符去重（如 "aabbcc" → "abc"）、按字（中文/英文单词）去重、忽略大小写或空白符等。关键不在“有没有函数”，而在于“怎么保序、怎么定义重复”。

单字节字符（英文字母/数字）保序去重

用 array_unique() 配合 str_split() 最直接，但要注意它不保原顺序（PHP 5.6+ 已默认保序，但早期版本需手动重建键）：

• 安全写法：$chars = str_split($str); $unique = array_values(array_unique($chars)); echo implode('', $unique);
• 更高效（尤其长字符串）：遍历 + 关联数组判重，天然保序：
  $result = '';
  $seen = [];
  for ($i = 0; $i < strlen($str); $i++) {
    $char = $str[$i];
    if (!isset($seen[$char])) {
      $result .= $char;
      $seen[$char] = true;
    }
  }
  ?>

中文或 UTF-8 多字节字符去重

str_split() 对中文会截断乱码，必须用 mb_ 系列函数：

• 先用 mb_strlen($str, 'UTF-8') 获取真实长度
• 用 mb_substr($str, $i, 1, 'UTF-8') 逐个取字符
• 判重逻辑同上，但键用 mb_substr 结果，不能直接用 $str[$i]
• 示例：$char = mb_substr($str, $i, 1, 'UTF-8'); 再检查是否已存在

按“词”去重（非单字），支持中英文混合

需先分词，再去重。简单场景可用空格/标点切分，复杂场景建议用正则：

• 基础分词：$words = preg_split('/[\s\p{P}]+/u', $str, -1, PREG_SPLIT_NO_EMPTY);（\p{P} 匹配任意 Unicode 标点）
• 去重并保序：$seen = []; $uniqueWords = [];
foreach ($words as $word) {
  if (!in_array($word, $seen)) {
    $uniqueWords[] = $word;
    $seen[] = $word;
  }
}
• 注意：中文词需预分词（如用 preg_match_all('/\p{Han}+|\w+/u', $str, $matches) 抽出汉字块和英文单词）

忽略大小写、空白、标点的柔性去重

实际业务常需“语义去重”，比如 "Hello, hello!" 视为重复：

• 预处理统一格式：$normalized = strtolower(trim(preg_replace('/[\s\p{P}]+/u', '', $str)));
• 但原始输出仍要返回未处理的字符 —— 所以得用映射：把标准化值作键，存原始片段（如小写"hello" → 原始"Hello"）
• 代码要点：遍历分词后，对每个词生成标准键；若键未出现，存入结果并记录该键；否则跳过

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于文章的相关知识，也可关注golang学习网公众号。