登录
首页 >  Golang >  Go问答

使用 to 把庞大的 XML 文件转换成 JSON 格式,以便存储在 MongoDB 数据库中

来源:stackoverflow

时间:2024-03-28 10:57:33 411浏览 收藏

Golang小白一枚,正在不断学习积累知识,现将学习到的知识记录一下,也是将我的所得分享给大家!而今天这篇文章《使用 to 把庞大的 XML 文件转换成 JSON 格式,以便存储在 MongoDB 数据库中》带大家来了解一下##content_title##,希望对大家的知识积累有所帮助,从而弥补自己的不足,助力实战开发!


问题内容

对于我的一个项目,我必须处理超过 2GB 的 XML 文件。我想将数据存储在 mongoDB 中。我决定使用 Go 语言尝试一下。但我在找出在 Go 中执行此操作的最佳方法时遇到了一些困难。

我见过很多具有固定 XML 结构的示例,但我获得的数据结构是动态的,因此使用某种预定义的结构对我来说不起作用。

现在我偶然发现了这个包:https://github.com/basgys/goxml2json,它看起来很有前途,但有一些东西我不明白:

  • 自述文件中给出的示例使用 XML 字符串,但我在代码中没有看到任何接受文件的内容。
  • 在这个例子中,我有 2GB 的 xml 文件,我不能简单地将整个 XML 文件加载到内存中。这会让我的服务器混乱。

我认为这样说很好,我只需将 XML 数据转换为 JSON 形式一次,这样我就可以将其存储在 mongoDB 中。

你们中的一些人对如何使用 Go 将 XML 文件有效解析为 JSON 有一些想法吗?


解决方案


go 提供了 builtin XML stream parser at encoding/xml.Decoder

典型的使用模式是读取令牌,直到找到感兴趣的内容,然后将令牌解组到 xml 标记结构中,然后相应地处理该数据。这样,您只需将单个 xml 令牌所需的内容加载到内存中,或者解组一些有趣的数据。

例如(Go Playground):

d := xml.NewDecoder(xmlStream)
for {
  // Decode the next token from the stream...
  token, err := d.Token()
  if err == io.EOF {
    break
  }
  check(err)

  // Switch behavior based on the token type.
  switch el := token.(type) {
  case xml.StartElement:
    // Handle "person" start elements by unmarshaling from XML...
    if el.Name.Local == "person" {
      var p Person
      err := d.DecodeElement(&p, &el)
      check(err)

      // ...then marshal to JSON...
      jsonbytes, err := json.Marshal(p)
      check(err)

      // ...then take other action (e.g. insert into database).
      fmt.Printf("OK: %s\n", string(jsonbytes))
      // OK: {"Id":"123","Name":"Alice","Age":30}
    }
  }
}

今天带大家了解了的相关知识,希望对你有所帮助;关于Golang的技术知识我们会一点点深入介绍,欢迎大家关注golang学习网公众号,一起学习编程~

声明:本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>