登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  Golang >  Go问答

Go json.Decoder.Token 为什么遇到非法嵌套会报错

来源:17golang原创

时间:2026-11-19 03:53:56 170浏览 收藏

如果你用 json.Decoder.Token() 读取 JSON,遇到 ]、} 与前面打开的容器不匹配,报错是正常行为。Token() 不只是把字符切成字符串,它还会维护 JSON 分隔符的嵌套关系:打开了数组就必须先用 ] 关闭,打开了对象就必须先用 } 关闭。

官方文档:https://pkg.go.dev/encoding/json#Decoder.Token

Token() 报非法嵌套,通常不是 Go 代码的数组索引问题,而是输入 JSON 的分隔符栈已经无法闭合。先保留原始错误,再结合 InputOffset() 和已经读到的容器上下文定位输入。

先看一个最小的非法嵌套

下面的 JSON 打开了对象和数组,但数组里的对象结束后直接写了一个对象结束符。此时最内层仍然期待 ],却读到了 }:

{"users":[{"id":1}}

把这段内容交给 Token() 时,前面的 {、"users"、:、[、{ 和字段值都可能已经被正常读出;真正失败的边界是关闭数组时。逗号和冒号不会作为 token 返回,它们由 JSON 词法规则直接消化,所以错误信息往往应该和“当前应该关闭哪一层容器”一起理解。

Token 为什么能发现分隔符不匹配

Token() 返回的内容主要包括布尔值、字符串、数字、null 以及 json.Delim。其中 json.Delim 只代表数组或对象的四个边界符:[、]、{、}。

可以把它理解成一个内部栈:读到 { 或 [ 时压入对应的预期关闭符;读到关闭符时,必须和栈顶匹配,匹配后才弹出。这个栈属于解码器的语法状态,不是业务代码里的 []any 或 map[string]any。

json.Decoder.Token、json.Delim 与对象数组嵌套栈的静态关系说明图
图1:结构说明图,展示 JSON 输入、Token、json.Delim 与对象数组嵌套栈之间的静态关系;它不是截图或运行证据。

因此,以下两类问题要分开处理:

现象含义处理方向
err == io.EOF输入流正常读完,前提是此前没有语法错误结束 token 循环
返回其他错误语法、输入截断或读取过程出现问题保留错误并记录当前位置
token 是 json.Delim进入或离开一个数组/对象边界更新业务侧上下文

用 InputOffset 区分正常结束和语法失败

流式解码经常把网络响应或文件直接交给 NewDecoder。不要把所有非空错误都当成“没有更多数据”,也不要只打印一行模糊的错误。io.EOF 表示没有更多 token;其他错误则应当保留,InputOffset() 可以帮助记录当前解码位置。

package main

import (
    "encoding/json"
    "fmt"
    "io"
    "strings"
)

func printTokens(input string) error {
    dec := json.NewDecoder(strings.NewReader(input))

    for {
        token, err := dec.Token()
        if err == io.EOF {
            // 正常结束只表示流中暂时没有更多 token。
            return nil
        }
        if err != nil {
            // InputOffset 是解码器当前位置边界,不等同于错误字符的精确列号。
            return fmt.Errorf("读取 JSON token 失败,偏移约为 %d: %w", dec.InputOffset(), err)
        }

        // Delim 只描述容器边界,普通值仍由 Token 返回。
        fmt.Printf("%T: %v\n", token, token)
    }
}

func main() {
    // 这个输入让数组在对象之后遇到错误的关闭符。
    if err := printTokens(`{"users":[{"id":1}}`); err != nil {
        fmt.Println(err)
    }
}

这里有一个容易忽略的边界:InputOffset() 是字节偏移,不是 Unicode 字符数;官方定义是最近一次返回 token 的末尾与下一个 token 开始的位置。把它写进日志时,最好同时保留原始输入片段或请求 ID,方便在多字节文本和网络分片场景中继续定位。

在成功读取的 token 上维护容器上下文

Token() 已经负责语法匹配,但业务日志通常还需要知道“刚刚进入了哪个容器”。可以在成功收到 json.Delim 后维护一个轻量栈。它不是替代标准库校验,而是把已经读成功的上下文翻译成更容易排查的提示。

package main

import (
    "encoding/json"
    "fmt"
    "io"
    "strings"
)

func expectedClose(open json.Delim) (json.Delim, bool) {
    // 只为两个 JSON 容器建立关闭符映射,其他 token 不进入栈。
    switch open {
    case json.Delim('{'):
        return json.Delim('}'), true
    case json.Delim('['):
        return json.Delim(']'), true
    default:
        return 0, false
    }
}

func scanWithContext(input string) error {
    dec := json.NewDecoder(strings.NewReader(input))
    var stack []json.Delim

    for {
        token, err := dec.Token()
        if err == io.EOF {
            // 标准库已保证可返回的分隔符正确匹配,此处只保留成功上下文。
            return nil
        }
        if err != nil {
            // 错误发生在下一个 token 无法满足当前语法的位置。
            return fmt.Errorf("容器上下文 %v,偏移约为 %d: %w", stack, dec.InputOffset(), err)
        }

        delim, ok := token.(json.Delim)
        if !ok {
            continue
        }

        if closeDelim, isOpen := expectedClose(delim); isOpen {
            // 记录对象或数组将要等待的关闭符。
            stack = append(stack, closeDelim)
            continue
        }

        if len(stack) > 0 && stack[len(stack)-1] == delim {
            // 关闭符与栈顶一致,说明这一层容器已经结束。
            stack = stack[:len(stack)-1]
        }
    }
}

func main() {
    // 输入来自字符串只是示例,生产环境可以替换为网络响应或文件。
    if err := scanWithContext(`{"users":[{"id":1}}`); err != nil {
        fmt.Println(err)
    }
}
分隔符预期关闭符、输入偏移与 Token 错误上下文的静态关系说明图
图2:结构说明图,展示预期关闭符栈、InputOffset 和错误日志上下文的静态关系;它不是终端截图或运行结果。

注意,调用方无法从错误返回值中拿到一个“错误的关闭符 token”再自行修正,因为标准库会在发现意外分隔符时直接返回错误。上面的栈只记录已经成功读到的打开符和关闭符,适合补充上下文,不适合把坏输入强行改写后继续解析。

截断输入与非法嵌套不是一回事

如果输入在 [ 或 { 之后突然结束,问题是 JSON 被截断;如果读到了错误的关闭符,问题是嵌套关系不匹配。两者都可能发生在 HTTP 分片、文件末尾或消息拼接场景,但修复方向不同:

  • 截断输入:检查上游响应是否完整、读取是否提前结束,以及是否把多段 JSON 错误地拼成一个值。
  • 非法嵌套:检查生成 JSON 的模板、手写字符串拼接和数组/对象关闭符是否成对。
  • 多个顶层值:Decoder 可以逐个读取流中的 JSON 值,但每个值内部仍必须独立满足 JSON 语法。

几个容易混淆的问题

为什么不能只用 strings.Contains 判断缺少括号?

括号是否出现不等于是否正确嵌套。字符串值本身可以包含括号字符,只有 JSON 词法和容器上下文才能判断某个分隔符是不是结构的一部分。让 Token() 处理语法,再记录业务上下文更可靠。

Token 报错后还能继续读吗?

不要把错误当成可忽略的普通 token。当前解码器已经处于错误输入边界,通常应丢弃这次消息或重新创建解码器,从可信的完整输入重新开始。

InputOffset 能直接指出第几行第几列吗?

不能。它给出的是输入流中的字节位置边界。若需要行列信息,可以在保留原始字节的前提下按换行和 UTF-8 字节计算显示位置,但不要把字节偏移直接当作字符列号。

结论

json.Decoder.Token() 报非法嵌套,是因为它除了拆分 JSON token,还保证 []{} 的分隔符正确匹配。排查时先区分 io.EOF 与真正的语法错误,再记录 InputOffset() 和已经成功读取的容器上下文;不要用字符串包含判断替代 JSON 解析,也不要在错误输入上继续拼凑 token。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>