高效处理大容量数据集的方法：在 Go 和 MongoDB 中进行迭代

最近发现不少小伙伴都对Golang很感兴趣，所以今天继续给大家介绍Golang相关的知识，本文《高效处理大容量数据集的方法：在 Go 和 MongoDB 中进行迭代》主要内容涉及到等等知识点，希望能帮到你！当然如果阅读本文时存在不同想法，可以在评论中表达，但是请勿使用过激的措辞~

这更像是一个普遍问题，但这是我的问题。我们有2个数据库，都是mongo数据库。我们正在将数据从一个 mongo 实例迁移到另一个实例，我们应用程序的 v1 和 v2 之间的差异意味着对所述数据的重构。问题就出在这里。一个特定的收藏包含大约 84 万条记录。获取这 840 条记录不是问题。我需要将数据结构转换为新的数据库模式。重构的一部分是将新生成的 3 个其他集合的 objectid 嵌入到迁移的这个特定部分中。

示例是 患者集合， 护理人员集合， 机构征集、 这些是在没有 id 的情况下导入的，由 mongo 生成

它们都被新生成的 objectid 在访问集合中的 840k 记录中引用

我的问题在于，当我遍历所有 4 个集合来排列此过程所占用的数据时，我什至不知道在杀死它之前我让它运行了 4 小时多长时间。

for _, a := range agencies {
        for _, c := range caregivers {
            for _, p := range patients {
                for _, m := range model {
                    if a.name == *m.agencyname && m.caregiverid == &c.caregiverid && m.patientid == &p.patientid {
                        visit := &models.visit{
                            createdat:  time.now(),
                            updatedat:  time.now(),
                            agencyid:   a.id.hex(),
                            scheduleid: *m.scheduleid,
                            status:     *m.status,
                            start:      *m.start,
                            end:        *m.end,
                            patientid:  p.id.hex(),
                            userid:     c.id.hex(),
                        }
                        updatemodel = append(updatemodel, mongo.newupdateonemodel().setfilter(
                            bson.d{
                                {key: "agencyid", value: a.id.hex()},
                                {key: "userid", value: c.id.hex()},
                                {key: "patientid", value: p.id.hex()},
                                {key: "scheduleid", value: m.scheduleid},
                                {key: "start", value: m.start},
                                {key: "end", value: m.end},
                            },
                        ).setupdate(
                            bson.d{{key: "$set", value: visit}},
                        ).setupsert(true))
                    }
                }
            }
        }
    }

现在，当我执行这些代码时，该代码适用于较小的集合，但是这个代码所花费的时间比我们等待的时间要长。我的问题是，将 32 个机构、8000 名患者、6000 名护理人员的 840k 记录排列起来最省时的方法是什么。我做了一些数学计算，它的变化次数超出了我的计算器所能给出的数字。 fwi 我不关心资源消耗，因为我们可以在运行应用程序所需的时间内启动任何大小的云计算机。这是从 840k 访问中的每一次访问的 3 个其他集合中获取这些对象 id 的有效方法。我确实考虑过将这些集合导入到旧数据库并在输入聚合期间查找 id，但这并不是很编程。

使用缓存的 objectid 修改范围

for _, m := range model {
        agency, agencyFound := c.Get(*m.AgencyName)
        uid, uidFound := c.Get(fmt.Sprintf("caregiver-%v-%d", agency, *m.CaregiverID))
        patientId, patientFound := c.Get(fmt.Sprintf("patient-%v-%d", agency, *m.PatientID))
        if agencyFound && uidFound && patientFound {
            visit := &models.Visit{
                CreatedAt:  time.Now(),
                UpdatedAt:  time.Now(),
                AgencyID:   fmt.Sprintf("%v", agency),
                ScheduleID: *m.ScheduleID,
                Status:     *m.Status,
                Start:      *m.Start,
                End:        *m.End,
                PatientID:  fmt.Sprintf("%v", patientId),
                UserID:     fmt.Sprintf("%v", uid),
            }
            updateModel = append(updateModel, mongo.NewUpdateOneModel().SetFilter(
                bson.D{
                    {Key: "agencyId", Value: fmt.Sprintf("%v", agency)},
                    {Key: "userId", Value: fmt.Sprintf("%v", uid)},
                    {Key: "patientId", Value: fmt.Sprintf("%v", patientId)},
                    {Key: "scheduleId", Value: m.ScheduleID},
                    {Key: "start", Value: m.Start},
                    {Key: "end", Value: m.End},
                },
            ).SetUpdate(
                bson.D{{Key: "$set", Value: visit}},
            ).SetUpsert(true))
        }
    }

正确答案

机构、护理人员、患者和就诊的笛卡尔积为 32x8000x6000x840000，约为 10^15。

假设内部 if 需要一个 CPU 周期来计算（需要更多），如果使用 4 GHz CPU，则需要超过 89 小时才能完成。

为每次就诊生成所有可能的（机构、护理人员、患者）组合是对资源的巨大浪费。

反向方法：迭代所有访问并获取该特定文档的机构、护理人员和患者。为了节省访问数据库的时间，可以在内存中存储具有所需 ID 的映射。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。