Go strings.FieldsFunc 如何按连续分隔符切词

处理日志标签、路径片段或用户输入时，如果分隔符可能连续出现，直接用 strings.Split 往往会得到一串空字段。strings.FieldsFunc 更适合这个场景：回调函数判断当前 rune 是否属于分隔符，连续满足条件的字符会被当成一个分隔区间，结果中的字段始终非空。

官方文档：https://pkg.go.dev/strings#FieldsFunc

先确认 FieldsFunc 的返回契约

函数签名是 strings.FieldsFunc(s string, f func(rune) bool) []string。它不是接收一个固定字符串分隔符，而是逐个判断字符：回调返回 true 的连续字符组成分隔区间，其余字符组成字段。首尾分隔区间会被丢弃，字段不会为空。

把多种分隔符统一交给 rune 判断函数

如果输入同时可能出现空格、逗号、分号和竖线，可以把规则集中在一个谓词里。这样切词行为清楚，也不会因为连续分隔符产生额外空字段：

package main

import (
	"fmt"
	"strings"
	"unicode"
)

func main() {
	text := "  Go,,教程|FieldsFunc;;示例  "
	fields := strings.FieldsFunc(text, func(r rune) bool {
		// 空白和常见标点都视为分隔符，连续字符会合并处理。
		return unicode.IsSpace(r) || strings.ContainsRune(",;|", r)
	})
	fmt.Printf("%q\n", fields)
}

["Go" "教程" "FieldsFunc" "示例"]

这里的回调只依赖当前字符，所以同一个 rune 每次都会得到相同结果。不要在回调里累加计数、读取会变化的外部状态或根据调用顺序切换返回值；官方文档明确说明，FieldsFunc 不保证调用回调的顺序。

用边界输入确认连续分隔符不会制造空字段

排查“切出来的数量不对”时，优先用四组输入确认规则，而不是只测试一个正常字符串。尤其要注意：FieldsFunc 的设计目标就是返回非空字段，它和保留空元素的 Split 不是同一种语义。

func splitTags(text string) []string {
	// 只按竖线和逗号分隔，前后以及中间重复分隔符都会被折叠。
	return strings.FieldsFunc(text, func(r rune) bool {
		return r == '|' || r == ','
	})
}

// 预期结果：foo,,bar -> [foo bar]；|foo| -> [foo]；,,, -> []。
var cases = []string{"foo,,bar", "|foo|", ",,,", "Go|教程"}

封装切词逻辑，再决定业务校验

FieldsFunc 只负责切分，不负责判断字段数量、标签是否重复或内容是否合规。可以把分隔规则封装起来，再由调用方决定空结果是否报错：

func splitColumns(line string) ([]string, error) {
	// 切分层只定义分隔符；列数约束放在业务层，便于复用。
	fields := strings.FieldsFunc(line, func(r rune) bool {
		return unicode.IsSpace(r) || r == ',' || r == ';'
	})
	if len(fields) == 0 {
		// 空行或全分隔符不能直接取 fields[0]。
		return nil, fmt.Errorf("没有可用字段")
	}
	return fields, nil
}

如果业务协议必须保留连续分隔符代表的空列，例如 CSV 的空列占位，就不要用 FieldsFunc 代替专用解析器；此时应选择 strings.Split 或按协议实现扫描。关键是先确定“分隔符是边界”还是“分隔符本身携带空值信息”。

常见问题：FieldsFunc 和 Split 怎么选

为什么返回结果里没有空字符串？

因为 FieldsFunc 按连续分隔区间切分，并且官方契约保证每个返回元素非空。需要保留空字段时，应改用能表达空元素的切分方案。

回调能不能根据字符出现次数改变结果？

不建议这样做。回调应该是稳定的字符谓词；如果规则依赖位置或状态，先写一个明确的扫描器，避免依赖 FieldsFunc 未保证的调用顺序。

为什么中文不会被截成乱码？

回调接收的是 rune，FieldsFunc 按 Unicode code point 判断。只要分隔规则使用正确的字符谓词，中文字段会作为完整字符串返回。