Go json.Decoder用 Token 识别嵌套边界的实现方式

处理一段结构不固定、但又不想一次性反序列化成 map[string]any 的 JSON 时，Go json.Decoder 的 Token 很适合用来判断嵌套边界。它按流读取下一个 JSON token：普通字符串、数字、布尔值和 null 是值；{、}、[、] 会以 json.Delim 表示容器的进入和退出。

实现要点是“先分辨 token 类型，再维护容器深度”：遇到左分隔符进入一层，遇到右分隔符退出一层；当目标层级的右分隔符出现时，就能确定当前对象或数组已经结束。

Token 先分流：普通值、字段名和容器分隔符

Token 返回的是 (json.Token, error)。其中对象的键也会作为字符串 token 返回，所以不能把每个字符串都直接当成业务值。最小的判断方式是先做 json.Delim 类型断言，再处理其他值。

package main

import (
    "encoding/json"
    "errors"
    "fmt"
    "io"
    "strings"
)

func printTokens(input string) error {
    dec := json.NewDecoder(strings.NewReader(input))
    for {
        tok, err := dec.Token()
        if err != nil {
            // EOF 表示 token 已经读完；其他错误说明输入或读取过程异常。
            if errors.Is(err, io.EOF) {
                return nil
            }
            return err
        }
        if delim, ok := tok.(json.Delim); ok {
            // Delim 只描述容器边界，不能当作对象字段值使用。
            fmt.Printf("边界: %q\n", delim)
            continue
        }
        // 字符串可能是对象键，也可能是字符串值，需结合上下文判断。
        fmt.Printf("普通 token: %v\n", tok)
    }
}

遇到 json.Delim('{') 或 json.Delim('[') 时，说明后续 token 属于新容器；遇到右分隔符则说明对应容器收口。顶层读取结束时建议用 errors.Is(err, io.EOF) 判断，而不是比较错误字符串。

用深度计数找到嵌套容器的结束位置

如果只关心最外层数组或对象，可以记录进入时的深度。每个左分隔符让深度加一，每个右分隔符让深度减一；当深度回到进入前的数值时，目标容器就读完了。Token 本身保证返回的分隔符具有正确嵌套关系，应用代码主要负责决定在哪一层停止。

func consumeContainer(dec *json.Decoder) error {
    first, err := dec.Token()
    if err != nil {
        return err
    }
    opening, ok := first.(json.Delim)
    if !ok || (opening != '{' && opening != '[') {
        return fmt.Errorf("expected container, got %v", first)
    }

    depth := 1
    for depth > 0 {
        tok, err := dec.Token()
        if err != nil {
            // 容器尚未闭合就遇到 EOF，说明输入被截断。
            return err
        }
        delim, ok := tok.(json.Delim)
        if !ok {
            // 普通值不会改变嵌套层级，继续读取下一个 token。
            continue
        }
        switch delim {
        case '{', '[':
            // 新容器进入一层，内部的边界由同一个计数器跟踪。
            depth++
        case '}', ']':
            // 右分隔符关闭当前容器，回到零即完成目标容器。
            depth--
        }
    }
    return nil
}

这个函数只负责“吃完一个容器”，不会把值保存下来。如果业务还要知道对象字段名，可在对象场景维护一个 expectKey 状态：读到字符串键后，下一个 token 才是它对应的值；如果值又是左分隔符，就递归或转入深度处理。数组没有字段名，数组元素按顺序直接消费。

对象字段和数组元素要保持同一读取节奏

常见错误是读到对象键后，再额外调用一次 Token 试图“跳过值”，却没有处理这个值本身也是对象或数组的情况。更稳妥的做法是把读取分成三类：对象键只改变字段上下文；普通值完成一个叶子；左分隔符开启一个需要完整消费的子容器。

例如输入 {"meta":{"trace":"x"},"items":[1,{"ok":true}]}，外层对象先读到 meta，随后看到左花括号并进入子对象；子对象闭合后，读取才回到 items。数组里的数字和对象同理，不能用“固定读两次 token”代替边界判断。

EOF、类型断言与边界检查

正常的顶层读取会在所有 token 消费后得到 io.EOF；容器尚未闭合就得到 EOF，则应把它视为截断输入。未知 token 类型不应静默忽略，尤其是需要区分对象键和值的场景。只用深度计数能定位结构边界，但不会替你校验字段类型、必填项或业务规则。

官方地址：https://pkg.go.dev/encoding/json

相关问题

Token 能否直接返回一个完整的嵌套对象

不能。它一次返回一个 token；需要完整对象时，应在确认边界后调用 Decode，或自行收集 token。

为什么不能只统计左花括号

JSON 同时有对象和数组，且两者可以交叉嵌套。必须同时处理四种 Delim，并让每个右分隔符关闭对应层级。