JoltShift数据提取：扁平数组重构教程

目前golang学习网上已经有很多关于文章的文章了，自己在初次阅读这些文章中，也见识到了很多学习思路；那么本文《Jolt Shift 数据提取：扁平数组重构指南》，也希望能帮助到大家，如果阅读完后真的对你学习文章有帮助，欢迎动动手指，评论留言并分享~

在处理复杂的 JSON 数据时，我们经常面临需要将深层嵌套的数据扁平化，或从不同层级收集特定信息并重构为统一格式的挑战。Jolt 库提供了一套强大的 JSON 转换工具，特别是其 shift 操作，能够灵活地实现这类数据重塑。

数据转换挑战

假设我们有以下嵌套的 JSON 输入数据，其中 item 字段可以包含多层嵌套的 item 数组：

{
  "item": [
    {
      "ac": "i",
      "id": "c5b9e16076fe4faaaace5c7d0cbe0d9b",
      "foo": {
        "id": "c5b9e16076fe4faaaace5c7d0cbe0d9b",
        "nn": "de38c8a2e6a844d1a9dd7a573eedee15"
      },
      "item": [
        {
          "ac": "y",
          "id": "c5b9e16076fe4faaaace5c7d0cbe0d9b",
          "foo": {
            "id": "c5b9e16076fe4faaaace5c7d0cbe0d9b",
            "nn": "b1754500dde646f1af495814fcd2d65e"
          }
        },
        {
          "id": "r",
          "ac": "ac",
          "foo": {
            "id": "c5b9e16076fe4faaaace5c7d0cbe0d9b",
            "nn": "bfb5550a6d754892b313ab9dd8604725"
          }
        }
      ]
    }
  ]
}

我们的目标是从所有层级的 item 对象中提取 ac 和 foo.nn 字段，并将它们重构为一个扁平的 JSON 对象数组，每个对象包含 ac 和 foo.nn 属性。期望的输出格式如下：

[
  {
    "ac": "y",
    "foo": {
      "nn": [
        "b1754500dde646f1af495814fcd2d65e"
      ]
    }
  },
  {
    "ac": "i",
    "foo": {
      "nn": "de38c8a2e6a844d1a9dd7a573eedee15"
    }
  },
  {
    "ac": "ac",
    "foo": {
      "nn": "bfb5550a6d754892b313ab9dd8604725"
    }
  }
]

请注意，在上述期望输出中，nn 字段有时是字符串，有时是单元素数组。在实际的 Jolt 转换中，为了保持数据类型的一致性，通常会将其统一为数组形式。

Jolt 核心概念回顾

在深入解决方案之前，我们先回顾 Jolt shift 操作中几个关键的操作符：

• shift 操作: shift 是 Jolt 中最常用的操作，用于将输入 JSON 的数据结构映射到输出 JSON 的新结构。它通过键值对来定义映射规则，其中键是输入路径模式，值是输出路径。
• @ 操作符: 用于引用输入 JSON 中特定路径或层级的值。例如，@(1,field) 表示向上追溯一层，获取 field 字段的值。这对于动态创建输出路径或获取非当前匹配路径的值非常有用。
• & 操作符: 这是一个通配符，表示当前匹配到的键或值。
  • 当作为输入路径的一部分时，& 匹配任何键名。
  • 当作为输出路径的一部分时，& 表示当前匹配到的输入键名。
  • &N (例如 &1, &2) 表示从当前匹配位置向上追溯 N 层，获取该层级的键名。
• [#] 操作符: 用于将值强制转换为数组，并可选地指定数组索引。例如，[#0] 表示将其放入数组的第一个位置。[#1] 表示放入数组的第二个位置，如果该位置之前为空，则可能产生 null 填充。如果只希望确保是数组而不关心具体索引，通常直接使用 [] 或 [#]。
• 多阶段转换: 复杂的转换往往需要多个 Jolt 转换操作（例如 shift, default, cardinality 等）按顺序执行。每个操作的输出作为下一个操作的输入。

解决方案详解

为了实现上述目标，我们将采用两阶段的 Jolt shift 转换。

第一阶段转换：数据收集与初步重构

第一阶段的目标是遍历所有层级的 item 数组，提取所需的 ac 和 foo.nn 字段，并将每个 item 对象的数据组织成一个以其 ac 值为键的临时结构。

[
  {
    "operation": "shift",
    "spec": {
      "item": {
        "*": {
          // 处理第一层 item
          "item": {
            "*": {
              // 处理第二层 item
              "item": {
                "*": {
                  // 处理第三层 item (如果存在)
                  "ac": "@(1,ac).&",
                  "foo": {
                    "nn": "@(2,ac).&1[#1].&"
                  }
                }
              },
              "ac": "@(1,ac).&",
              "foo": {
                "nn": "@(2,ac).&1[#1].&"
              }
            }
          },
          "ac": "@(1,ac).&",
          "foo": {
            "nn": "@(2,ac).&1[#1].&"
          }
        }
      }
    }
  },
  // ... 第二阶段转换
]

解析第一阶段 Spec:

1. *递归路径匹配 item -> `

以上就是《JoltShift数据提取：扁平数组重构教程》的详细内容，更多关于的资料请关注golang学习网公众号！