StringTokenizer用法详解与分词作用说明

Java中的StringTokenizer是一个轻量、高效且易于上手的字符串分词工具，专为按自定义分隔符（如逗号、冒号或多种符号组合）逐个提取词元而设计，特别适合CSV解析、日志行处理和固定格式的结构化文本提取；它以内存友好、自动忽略多余空白、逻辑清晰的迭代式API著称，虽不支持正则表达式和空值返回，但在简单分词场景下比split更省资源、更自然直观——如果你正处理轻量级文本解析任务，StringTokenizer可能正是那个被低估却依然好用的“老将”。

在Java中，StringTokenizer 是一个用于将字符串拆分为多个“词元”（token）的工具类，位于 java.util 包中。它适用于简单的字符串解析场景，比如按指定分隔符分割文本内容。

StringTokenizer的基本用法

创建 StringTokenizer 对象时，传入要解析的字符串和可选的分隔符。默认分隔符是空白字符（空格、制表符、换行等）。

常用构造方法：

• StringTokenizer(String str)：使用默认分隔符（空白字符）拆分字符串
• StringTokenizer(String str, String delim)：使用自定义分隔符拆分
• StringTokenizer(String str, String delim, boolean returnDelims)：第三个参数决定是否返回分隔符本身作为词元

示例代码：

import java.util.StringTokenizer;

public class TokenExample {
    public static void main(String[] args) {
        String input = "apple,banana,orange";
        StringTokenizer tokenizer = new StringTokenizer(input, ",");

        while (tokenizer.hasMoreTokens()) {
            System.out.println(tokenizer.nextToken());
        }
    }
}

输出结果：

StringTokenizer在分词与解析中的作用

StringTokenizer 主要用于简单格式的文本解析，例如CSV数据、日志行、命令参数等。它的核心功能包括：

• 逐个读取词元，避免一次性将字符串全部拆分到数组中，节省内存
• 支持多种分隔符组合，如 ",;|" 表示逗号、分号或竖线都可作为分隔符
• 通过 hasMoreTokens() 和 nextToken() 实现迭代式处理，逻辑清晰

注意：StringTokenizer 不支持正则表达式，也不处理连续分隔符之间的空值（即不会返回空字符串）。如果需要更强大功能，应考虑使用 String.split() 或 Scanner 类。

常见应用场景举例

假设有一行用户输入：用户名:年龄:城市，使用冒号分隔：

String data = "Tom:25:Beijing";
StringTokenizer st = new StringTokenizer(data, ":");

String name = st.nextToken();
int age = Integer.parseInt(st.nextToken());
String city = st.nextToken();

System.out.println("姓名：" + name + "，年龄：" + age + "，城市：" + city);

这种结构化提取方式适合固定格式的短文本解析。

与split方法的对比

相比 String.split()，StringTokenizer 的优势在于：

• 更节省内存：按需获取 token，不生成数组
• 更灵活控制：可设置是否返回分隔符
• 对空白处理更自然：自动忽略多余空白（除非显式指定）

但 split 更适合复杂分隔规则（支持正则），且返回数组便于流式处理。

基本上就这些。StringTokenizer 虽然较老，但在简单分词任务中依然实用，尤其适合逐个处理输入流中的字段。不复杂但容易忽略细节，比如分隔符定义和空值处理。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《StringTokenizer用法详解与分词作用说明》文章吧，也可关注golang学习网公众号了解相关技术文章。