MongoDB$lookup关联数组字段方法

“纵有疾风来，人生不言弃”，这句话送给正在学习文章的朋友们，也希望在阅读本文《MongoDB $lookup关联数组字段技巧》后，能够真的帮助到大家。我也会在后续的文章中，陆续更新文章相关的技术文章，有好的建议欢迎大家在评论留言，非常感谢！

概述

在MongoDB中，$lookup操作符是实现集合间左外连接（Left Outer Join）的关键。它允许我们将一个集合的文档与另一个集合的文档进行关联，并将关联结果嵌入到源文档中。然而，当源文档包含一个数组字段，且我们需要将该数组中某个元素的特定属性（而非整个元素）与$lookup的结果进行匹配并保留时，问题就变得复杂。典型的场景是，我们有一个用户（User）集合，其中包含一个inbox数组，记录了参与者（participant）的ID以及参与时间（added_at）。在使用$lookup填充participant的详细信息后，我们希望每个填充后的参与者对象都能包含其对应的added_at时间。

问题场景

假设我们有一个User集合，其文档结构如下：

{
  "_id": ObjectId("123456789xx"),
  "first_name": "Sam",
  "last_name": "Jones",
  "email": "sam.jones@example.com",
  "inbox": [
    {
      "participant": ObjectId("1XXXXXXXXX"),
      "added_at": "12:00:00 09/21/2021"
    },
    {
      "participant": ObjectId("2XXXXXXXXX"),
      "added_at": "12:00:00 11/21/2022"
    }
  ]
}

我们的目标是使用$lookup来填充inbox数组中participant字段的详细信息（如first_name、last_name），同时，希望每个填充后的participant对象也能包含其原始对应的added_at字段。

最初的$lookup尝试可能如下：

{
   from: "Users", // 假设Users集合也包含participant的详细信息
   localField: "inbox.participant",
   foreignField:"_id",
   as: "participants",
   pipeline:[
      { $project: {first_name:1, last_name:1, _id: 1}}
   ]
}

这会得到类似如下的结果，其中participants数组只包含关联到的用户基本信息，而丢失了inbox中每个参与者对应的added_at字段：

{
  "_id": ObjectId("123456789xx"),
  "first_name": "Sam",
  "last_name": "Jones",
  "email": "sam.jones@example.com",
  "inbox": [...], // 原始inbox数组
  "participants": [
    { "_id": ObjectId("1xxxxx"), "first_name": "John", "last_name":"Doe"},
    { "_id": ObjectId("2xxxxx"), "first_name": "Jack", "last_name": "Smith"}
  ]
}

解决方案：结合 $set 和数组操作符

为了在$lookup结果中保留原始的added_at字段，我们需要在$lookup之后添加一个$set阶段，对participants数组进行后处理。这个后处理步骤将遍历participants数组，为每个参与者对象找到其在原始inbox数组中对应的added_at值，并将其合并到参与者对象中。

完整的聚合管道如下：

db.Users.aggregate([
  {
    // 第一步：执行 $lookup 操作，关联并获取参与者基本信息
    $lookup: {
      from: "Users", // 假设参与者信息也在Users集合中
      localField: "inbox.participant", // 源文档inbox数组中的participant字段
      foreignField: "_id",            // 目标集合的_id字段
      as: "participants",             // 关联结果的输出字段名
      pipeline: [
        { $project: {first_name: 1, last_name: 1, _id: 1}} // 仅投影所需字段
      ]
    }
  },
  {
    // 第二步：使用 $set 阶段修改 participants 数组
    $set: {
      participants: {
        // 使用 $map 遍历 participants 数组中的每个元素
        $map: {
          input: "$participants", // 待遍历的数组
          as: "participant",      // 遍历时当前元素的别名
          in: {
            // 使用 $mergeObjects 将当前参与者对象与 added_at 字段合并
            $mergeObjects: [
              "$$participant", // 当前参与者对象
              {
                // 查找对应的 added_at 值
                added_at: {
                  // 使用 $arrayElemAt 获取指定索引处的元素
                  $arrayElemAt: [
                    "$inbox.added_at", // 从原始 inbox.added_at 数组中取值
                    {
                      // 使用 $indexOfArray 查找当前 participant 的 _id 在 inbox.participant 数组中的索引
                      $indexOfArray: ["$inbox.participant", "$$participant._id"]
                    }
                  ]
                }
              }
            ]
          }
        }
      }
    }
  }
])

解释步骤：

1. $lookup 阶段：

   • 此阶段首先执行标准的左外连接，将User文档的inbox.participant字段与Users集合的_id字段进行匹配。
   • pipeline子句用于在连接时对匹配到的文档进行预处理，这里我们只保留了_id、first_name和last_name。
   • 结果存储在名为participants的新数组字段中。

2. $set 阶段：

   • 此阶段用于创建一个新的participants字段，其值是通过对现有participants数组进行转换得到的。
   • $map 操作符：它用于遍历$lookup生成的participants数组中的每一个对象。
     • input: "$participants"：指定要迭代的数组。
     • as: "participant"：定义一个变量$$participant，代表当前迭代到的数组元素。
     • in: {...}：定义对每个元素执行的操作。
   • $mergeObjects 操作符：它用于将多个文档合并成一个文档。
     • "$$participant"：表示当前迭代到的原始参与者对象（例如{ _id: "1xxxxx", first_name: "John", last_name:"Doe"}）。
     • 第二个参数是一个新创建的对象{ added_at: ... }，其中包含我们希望添加的added_at字段。
   • added_at 值的获取：这是整个解决方案的关键。
     • $indexOfArray: ["$inbox.participant", "$$participant._id"]：这个表达式首先在原始文档的inbox.participant数组中查找当前$$participant._id的索引位置。这假设inbox.participant数组和inbox.added_at数组是并行且顺序对应的。
     • $arrayElemAt: ["$inbox.added_at", index]：一旦获取到正确的索引，$arrayElemAt就从原始文档的inbox.added_at数组中取出该索引位置的added_at值。

预期输出

经过上述聚合管道处理后，最终的文档结构将包含带有added_at字段的participants数组，满足了原始需求：

{
  "_id": ObjectId("123456789xx"),
  "first_name": "Sam",
  "last_name": "Jones",
  "email": "sam.jones@example.com",
  "inbox": [...], // 原始inbox数组
  "participants": [
    { "_id": ObjectId("1xxxxx"), "first_name": "John", "last_name":"Doe", "added_at": "12:00:00 09/21/2021"},
    { "_id": ObjectId("2xxxxx"), "first_name": "Jack", "last_name": "Smith", "added_at": "12:00:00 11/21/2022"}
  ]
}

注意事项

• 数组并行性：此解决方案依赖于inbox.participant数组和inbox.added_at数组在索引上的严格对应关系。如果这两个数组的元素顺序不一致或数量不匹配，那么$indexOfArray和$arrayElemAt的组合可能无法正确匹配数据。
• 性能考量：对于非常大的inbox数组，$map和内部的数组操作可能会有性能开销。在大多数实际应用中，inbox数组通常不会非常庞大，因此这种方法是高效且可行的。
• 数据模型优化：在某些情况下，如果added_at是participant的固有属性，并且participant本身就是一个文档，那么在设计数据模型时，可以直接将added_at嵌入到inbox数组的participant子文档中，从而简化查询。但对于已有的数据模型，上述聚合方法提供了一个灵活的解决方案。

总结

通过巧妙地结合$lookup的管道功能与后续的$set阶段，并利用$map、$mergeObjects、$indexOfArray和$arrayElemAt等强大的数组操作符，我们能够在MongoDB中实现复杂的文档转换和数据关联。这种方法不仅解决了将本地数组字段与关联数据合并的问题，也展示了MongoDB聚合框架在处理复杂数据转换方面的强大能力和灵活性。掌握这些技巧对于构建高效且功能丰富的MongoDB应用至关重要。

本篇关于《MongoDB$lookup关联数组字段方法》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！