登录
首页 >  Golang >  Go问答

如果查询限制过大,goroutines 中的 GORM 会冻结

来源:stackoverflow

时间:2024-04-23 12:06:41 124浏览 收藏

在IT行业这个发展更新速度很快的行业,只有不停止的学习,才不会被行业所淘汰。如果你是Golang学习者,那么本文《如果查询限制过大,goroutines 中的 GORM 会冻结》就很适合你!本篇内容主要包括##content_title##,希望对大家的知识积累有所帮助,助力实战开发!

问题内容

我决定构建创建 csv 报告的服务。

使用中:go 1.12、gorm(作为 postgresql orm)

func main() {
  ... // init DB connection etc
  defer db.Close()
  go fetch(db)
  for {} // keeps open process
}

func fetch(db *gotm.DB) {
  .... // some code counts pages, creates file etc
  sqlLimit := 20000 // set limit
  for i := 0; i < pages; i++ {
    db.Table("reports_bookings"),Debug().Where(sql).Offset(i * sqlLimit).Limit(sqlLimit).Find(&myModels)
    .... // code: push it to file
  }
}

因此,当代码尝试获取数据时,它就会冻结。例如,如果减少限制并设置为 100,则会运行 sql 2 次并冻结。

debug() 也没有显示任何内容。正如我所说,它似乎冻结了。已加载处理器的一个核心。

没有 goroutine 也可以正常工作。你能帮我弄清楚为什么它在 goroutine 中不起作用吗?

提前致谢。

编辑

也许我的方法不好,你可以建议如何解决它。最后,文件应该上传到s3(例如)


解决方案


需要等待所有 goroutine 完成后再退出程序。

func main() {
  ... // init DB connection etc
  wg := sync.WaitGroup{}
  defer db.Close()
  wg.Add(1) // number of goroutines
  go fetch(db, &wg)
  wg.Wait() // wait for goroutines before exiting
}

func fetch(db *gotm.DB, wg *sync.WaitGroup) {
  .... // some code counts pages, creates file etc
  sqlLimit := 20000 // set limit
  for i := 0; i < pages; i++ {
    db.Table("reports_bookings"),Debug().Where(sql).Offset(i * sqlLimit).Limit(sqlLimit).Find(&myModels)
    .... // code: push it to file
    for {} // keeps open process
  }
}

否则,你的程序将在 goroutine 完成之前退出

理论要掌握,实操不能落!以上关于《如果查询限制过大,goroutines 中的 GORM 会冻结》的详细介绍,大家都掌握了吧!如果想要继续提升自己的能力,那么就来关注golang学习网公众号吧!

声明:本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>