StringTokenizer使用方法详解

**Java中StringTokenizer用法详解：高效解析字符串的利器** 还在为Java中如何高效解析字符串而烦恼吗？本文深入解析`StringTokenizer`类，它位于`java.util`包中，专为按分隔符拆分字符串而生。相比`String.split()`，`StringTokenizer`在处理CSV、日志等简单文本时更省内存，且对空白处理更自然。它支持自定义分隔符，并能逐个读取词元，适用于迭代式处理输入流中的字段。虽然`StringTokenizer`不支持正则表达式和空值返回，但在简单分词任务中依然实用。掌握`StringTokenizer`的基本用法、分词原理以及与`split`方法的对比，助你轻松应对各种字符串解析场景，提升Java编程效率。了解更多关于`StringTokenizer`的细节和应用技巧，请阅读全文！

StringTokenizer用于按分隔符拆分字符串，支持自定义分隔符和逐个读取词元，适用于CSV、日志等简单文本解析，相比split更省内存且处理空白更自然，但不支持正则和空值返回。

在Java中，StringTokenizer 是一个用于将字符串拆分为多个“词元”（token）的工具类，位于 java.util 包中。它适用于简单的字符串解析场景，比如按指定分隔符分割文本内容。

StringTokenizer的基本用法

创建 StringTokenizer 对象时，传入要解析的字符串和可选的分隔符。默认分隔符是空白字符（空格、制表符、换行等）。

常用构造方法：

• StringTokenizer(String str)：使用默认分隔符（空白字符）拆分字符串
• StringTokenizer(String str, String delim)：使用自定义分隔符拆分
• StringTokenizer(String str, String delim, boolean returnDelims)：第三个参数决定是否返回分隔符本身作为词元

示例代码：

import java.util.StringTokenizer;

public class TokenExample {
    public static void main(String[] args) {
        String input = "apple,banana,orange";
        StringTokenizer tokenizer = new StringTokenizer(input, ",");

        while (tokenizer.hasMoreTokens()) {
            System.out.println(tokenizer.nextToken());
        }
    }
}

输出结果：

StringTokenizer在分词与解析中的作用

StringTokenizer 主要用于简单格式的文本解析，例如CSV数据、日志行、命令参数等。它的核心功能包括：

• 逐个读取词元，避免一次性将字符串全部拆分到数组中，节省内存
• 支持多种分隔符组合，如 ",;|" 表示逗号、分号或竖线都可作为分隔符
• 通过 hasMoreTokens() 和 nextToken() 实现迭代式处理，逻辑清晰

注意：StringTokenizer 不支持正则表达式，也不处理连续分隔符之间的空值（即不会返回空字符串）。如果需要更强大功能，应考虑使用 String.split() 或 Scanner 类。

常见应用场景举例

假设有一行用户输入：用户名:年龄:城市，使用冒号分隔：

String data = "Tom:25:Beijing";
StringTokenizer st = new StringTokenizer(data, ":");

String name = st.nextToken();
int age = Integer.parseInt(st.nextToken());
String city = st.nextToken();

System.out.println("姓名：" + name + "，年龄：" + age + "，城市：" + city);

这种结构化提取方式适合固定格式的短文本解析。

与split方法的对比

相比 String.split()，StringTokenizer 的优势在于：

• 更节省内存：按需获取 token，不生成数组
• 更灵活控制：可设置是否返回分隔符
• 对空白处理更自然：自动忽略多余空白（除非显式指定）

但 split 更适合复杂分隔规则（支持正则），且返回数组便于流式处理。

基本上就这些。StringTokenizer 虽然较老，但在简单分词任务中依然实用，尤其适合逐个处理输入流中的字段。不复杂但容易忽略细节，比如分隔符定义和空值处理。

到这里，我们也就讲完了《StringTokenizer使用方法详解》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！