PHP IntlBreakIterator 怎么按句子边界分段而不是按句号切分

如果文本只包含英文句号，explode('.', $text) 看起来够用；一旦遇到中文问号、英文缩写、小数或中英文混排，这种写法就会把句子边界切坏。PHP 的 IntlBreakIterator 可以把“按句子分段”交给 ICU 的断点规则，调用方只负责选择 locale、遍历边界和截取文本。

官方地址：https://www.php.net/manual/en/intlbreakiterator.createsentenceinstance.php

最小做法是用 IntlBreakIterator::createSentenceInstance('zh_CN') 创建句子迭代器，setText() 放入原文，再用 first() 和 next() 得到每个句子的起止偏移。它是文本边界工具，不是语义分析器。

为什么简单按句号切分不够用

正则或 explode() 只能看见一个字符，不能判断这个句点是句末、缩写的一部分，还是数字中的小数点。比如 版本 3.14 已发布。请继续阅读。 不应在 3.14 中间断开；Dr. Smith arrived. Next... 也不应把缩写的句点当成完整句子结束。

Unicode 的句子边界规则会综合终止符、空格、数字、大小写和闭合标点等字符属性。locale 影响迭代器采用的语言环境，但结果仍然是“适合文本处理的边界判断”，不能替代自然语言理解、机器翻译或摘要模型。

先把 locale 和文本放进迭代器

createSentenceInstance() 是静态工厂，参数可以传入 zh_CN、en_US 等 locale，也可以传 null 使用默认环境。创建失败时要先判断返回值；setText() 在 PHP 8.3 起会以 false 表示错误，不能只依赖异常。

setText($text)) {
    // setText 失败时停止处理，避免继续使用旧文本。
    throw new RuntimeException('无法设置待分段文本');
}

echo $iterator->getLocale(Locale::VALID_LOCALE) . PHP_EOL;
?>

示例只负责初始化，不把句子边界误当成“每一个标点都切开”。生产代码还应把 locale 作为业务配置传入，而不是根据用户输入直接拼接未经约束的值。

用边界偏移提取句子

迭代器返回的是从文本开头算起的 UTF-8 字节偏移。第一次调用 first() 通常得到 0，后续调用 next() 移到下一处边界，直到返回 IntlBreakIterator::DONE。因此可以保存上一个偏移，用 PHP 的字节安全 substr() 截取片段。

setText($text)) {
        // 将初始化错误交给调用方处理，不返回看似成功的半截结果。
        throw new RuntimeException('句子迭代器初始化失败');
    }

    $sentences = [];
    $start = $iterator->first();
    while ($start !== IntlBreakIterator::DONE) {
        $end = $iterator->next();
        if ($end === IntlBreakIterator::DONE) {
            break;
        }

        // 迭代器的偏移是字节数，substr() 正好接受字节偏移。
        $sentence = trim(substr($text, $start, $end - $start));
        if ($sentence !== '') {
            $sentences[] = $sentence;
        }
        $start = $end;
    }

    return $sentences;
}

$sentences = splitSentences($text, 'zh_CN');
?>

这里没有把 mb_strlen() 或字符数组索引混进来，因为它们使用的计数单位与迭代器返回值不同。若要保留句子末尾空白，可去掉 trim()；清理空白是调用方策略，不是边界迭代器的职责。

locale、边界和简单分割的取舍

最容易踩的坑是把 IntlBreakIterator 当成“百分之百正确的分句器”。产品文案、法律文本、医学缩写和聊天文本都可能需要业务词典或人工规则；更稳妥的分层是先用迭代器取得候选句子，再在明确的领域规则下合并或拆分。

相关问题

IntlBreakIterator 能识别自然语言含义吗？

不能。它根据字符边界和 locale 规则找适合断开的点，无法理解上下文中的真实语义。

为什么不能直接用 mb_strlen 的结果截取？

因为迭代器的边界是 UTF-8 字节偏移，而 mb_strlen() 默认返回字符数量；两者单位不同，混用会截错文本。

setText 返回 false 怎么处理？

把它视为初始化失败，保留原始错误上下文并停止当前分段；不要继续读取迭代器上一次绑定的文本。