登录
首页 >  Golang >  Go问答

大数据处理的优化方法

来源:stackoverflow

时间:2024-02-14 10:36:23 492浏览 收藏

Golang小白一枚,正在不断学习积累知识,现将学习到的知识记录一下,也是将我的所得分享给大家!而今天这篇文章《大数据处理的优化方法》带大家来了解一下##content_title##,希望对大家的知识积累有所帮助,从而弥补自己的不足,助力实战开发!


问题内容

我的后端服务的目标是处理9000万条数据,1天至少处理1000万条数据。

我的系统配置:

  • 内存 2000 mb
  • cpu 2 核

我现在正在做的是这样的:

var wg sync.WaitGroup
//length of evs is 4455
for i, ev := range evs {
                wg.Add(1)
                go migrate(&wg)
            }
wg.Wait()

func migrate(wg *sync.WaitGroup) {
defer wg.Done()
//processing 
time.Sleep(time.Second)
}

解决方案


在不了解有关您需要完成的工作类型的更多详细信息的情况下,您的方法似乎不错。需要考虑的一些事情:

  • 在处理循环中重新使用变量和/或客户端。例如,重用 http 客户端而不是重新创建客户端。

  • 取决于您的用例如何调用来处理故障。使用 errogroup 可能会更有效。它是一个方便的包装器,可以在出错时停止所有线程,可能会节省您大量时间。

  • 在迁移功能中,请务必了解有关 closure and goroutines 的注意事项。

func main() {
    g := new(errgroup.Group)
    var urls = []string{
        "http://www.someasdfasdfstupidname.com/",
        "ftp://www.golang.org/",
        "http://www.google.com/",
    }
    for _, url := range urls {
        url := url // https://golang.org/doc/faq#closures_and_goroutines
        g.Go(func() error {
            resp, err := http.Get(url)
            if err == nil {
                resp.Body.Close()
            }
            return err
        })
    }

    fmt.Println("waiting")
    if err := g.Wait(); err == nil {
        fmt.Println("Successfully fetched all URLs.")
    } else {
        fmt.Println(err)
    }
}

我已经找到解决方案了。为了实现如此巨大的处理,我所做的是 将 goroutine 数量限制为 50 个,并将内核数量从 2 个增加到 5 个。

终于介绍完啦!小伙伴们,这篇关于《大数据处理的优化方法》的介绍应该让你收获多多了吧!欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识,快来关注吧!

声明:本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>