Go unicode.IsControl 过滤不可见控制字符的实现方法

我在处理外部文本时遇到过一种很隐蔽的脏数据：页面看起来正常，写入日志或导出 CSV 后却多出不可见字符。这个场景不需要先上正则，Go 标准库的 unicode.IsControl 已经能识别 Unicode 的控制字符；真正要补上的，是“哪些控制字符仍然要保留”的业务规则。

先区分 rune、控制字符和保留规则

Go 的字符串本质上是字节序列，但 range 遍历字符串时会按 UTF-8 解码为 rune。过滤中文、表情或带重音的文字时，应围绕 rune 写规则，而不是逐字节删除。unicode.IsControl(r) 判断的是 Unicode 的控制字符类别 Cc；它不是“看不见就删除”的总开关。

例如，换行 U+000A、回车 U+000D 和制表符 U+0009 也属于控制字符，但日志、文本框和 CSV 字段可能依赖它们保持格式。因此我会把识别和保留拆成两步：先判断是否为控制字符，再用白名单决定是否留下。

用 strings.Map 实现可复用过滤函数

实际清洗时可以把规则收敛成一个小函数。strings.Map 会把映射函数应用到字符串中的每个 rune；返回 -1 表示丢弃当前 rune，返回原值则保留它。这样不会把多字节 UTF-8 字符拆坏。

package main

import (
	"fmt"
	"strings"
	"unicode"
)

// filterControlRunes 删除不需要的 Cc 控制字符，同时保留文本格式控制符。
func filterControlRunes(s string) string {
	return strings.Map(func(r rune) rune {
		// 普通字符直接返回，避免改变原有文本。
		if !unicode.IsControl(r) {
			return r
		}

		switch r {
		case '\n', '\r', '\t':
			// 这些字符是否保留取决于日志、文本或 CSV 的格式要求。
			return r
		default:
			// strings.Map 约定返回 -1 时删除当前 rune。
			return -1
		}
	}, s)
}

func main() {
	input := "订单\x00A\t已入库\n备注"
	// 用 %q 观察不可见字符，便于确认过滤前后的差异。
	fmt.Printf("before=%q\n", input)
	fmt.Printf("after=%q\n", filterControlRunes(input))
}

这个实现的关键不是把所有控制字符都删除，而是把保留清单写在代码里。若目标是单行日志，可把 \n 和 \r 也移出白名单；若目标是保留缩进，则留下 \t。不要用 unicode.IsSpace 替代它，因为空格、换行和其他空白的业务含义并不相同。

把边界写进检查清单

上线前我会用三组输入检查结果：普通中文和 emoji 必须原样保留；退格、NUL 等 Cc 字符应被删除；换行、回车、制表符则按约定保留。测试时用 %q 或打印 rune 的十六进制值，不要只看终端上的肉眼效果。

// 检查字符是否落在本文定义的过滤范围内。
for _, r := range input {
	fmt.Printf("U+%04X control=%t\n", r, unicode.IsControl(r))
}

还要记住两个边界：第一，IsControl 主要对应 Cc，零宽字符等格式字符可能属于 Cf，需要单独制定规则；第二，非法 UTF-8 字节在字符串遍历时会按解码规则表现为替代 rune，这个函数不会替你修复原始字节。若输入协议要求严格 UTF-8，应先做独立的编码检查。

相关问题

为什么不用正则表达式一次替换？

正则可以表达部分范围，但这里的核心是 Unicode 类别和保留白名单。标准库函数更直接，也更容易把换行、回车、制表符的取舍写清楚。

过滤后为什么零宽字符还在？

因为零宽字符不一定属于 Cc。它们通常需要按业务场景选择 Unicode 属性或明确的字符集合，不能把 IsControl 当成通用文本安全过滤器。

什么时候应该按 byte 处理？

只有在处理明确的二进制协议或单字节编码字段时才按 byte 处理；面向 Go UTF-8 文本的字符策略应按 rune 设计。

把 unicode.IsControl 当作“识别器”，再把保留规则写成白名单，通常就能解决文本导入和日志清洗中的不可见控制字符问题，同时避免误伤正常的多语言内容。