为什么我不能通过同时计算切片的不同部分来加速我的程序?
来源:stackoverflow
时间:2024-04-18 22:12:34 457浏览 收藏
来到golang学习网的大家,相信都是编程学习爱好者,希望在这里学习Golang相关编程知识。下面本篇文章就来带大家聊聊《为什么我不能通过同时计算切片的不同部分来加速我的程序?》,介绍一下,希望对大家的知识积累有所帮助,助力实战开发!
问题内容
我编写了一个程序来计算查询和目标文档之间的相似度分数。草图如下:
type Dictionary struct {
Documents map[int][]string
Queries map[int][]string
}
type Similarity struct {
QID int
DocID int
Sim float64
}
func (dict * Dictionary) CalScore(qID, docID int) float64 {
query := dict.Queries[qID]
document := dict.Documents[docID]
score := calculation(query, document) // some counting and calculation
// for example: count how many words in query are also in document and so on,
// like tf-idf things.
return score
}
// Calculate the similarity scores for each group.
func SimWorker(index int, dict *Dictionary, simsList *[][]Similarity, wg *sync.WaitGroup) {
defer wg.Done()
for i, sim := range (*simsList)[index] {
// Retrieving words from Dictionary and compute, pretty time consuming.
(*simsList)[index][i].Sim = dict.CalScore(dict.Queries[sim.QID], dict.Documents[sim.DocID])
}
}
func main() {
dict := Dictionary{
// All data filled in.
}
simsList := [][]Similarity{
// Slice of groups of structs containing
// pairs of query id and doc id.
// All sims scores are 0.0 initially.
}
var wg sync.WaitGroup
for i := range simsList {
wg.Add(1)
go SimWorker(i, &dict, &simsList, &wg)
}
wg.Wait() // wait until all goroutines finish
// Next procedures to the simsList
}
基本上,我有一组查询-文档 id 对组,每个组内的查询 id 相同,而文档 id 均不同。过程非常简单,我只是从字典中获取字符串,然后应用一些算法计算分数。
首先,我按顺序完成了所有这些(不使用 goroutine),计算每组的分数需要几分钟,总共需要几个小时。然后我期望通过引入像上面这样的 goroutine 来提高速度。我为每个组创建了一个 goroutine,因为它们访问 dictionary 和 [][]similarity 中的不同部分。但事实证明,速度并没有提高,反而有所下降(我使用的 goroutine 数量在 10 个左右)。为什么会发生这种情况以及如何改进程序以真正加快计算速度?
解决方案
将此行添加到您的入口点
runtime.GOMAXPROCS(runtime.NumCPU())
它允许使用您电脑中的所有核心。 如果没有这一行,您的程序将同时运行,但不是并行运行
今天关于《为什么我不能通过同时计算切片的不同部分来加速我的程序?》的内容介绍就到此结束,如果有什么疑问或者建议,可以在golang学习网公众号下多多回复交流;文中若有不正之处,也希望回复留言以告知!
声明:本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
-
502 收藏
-
502 收藏
-
501 收藏
-
501 收藏
-
501 收藏
最新阅读
更多>
-
Golang · Go问答 | 8小时前 | channel · goroutine · pprof · Go问答 · 线上排查 · pprof Go问答 Go channel阻塞 goroutine堆积 channel发送205 收藏
-
Golang · Go问答 | 8小时前 | 连接池 · database/sql · Go问答 · 线上排查 · DBStats · MaxOpenConns Go数据库连接池 DBStats Go问答 sql.DB WaitCount355 收藏
-
467 收藏
-
Golang · Go问答 | 9小时前 | EventSource · sse · Go问答 · http.Flusher · 实时推送 · EventSource FLUSH text/event-stream Go问答 http.Flusher Go SSE333 收藏
-
Golang · Go问答 | 9小时前 | 并发安全 · RWMutex · sync.Map · Go问答 · map并发 · RWMutex sync.Map Go问答 Go map并发读写 concurrent map writes102 收藏
-
166 收藏
-
Golang · Go问答 | 5天前 | 并发 · channel · select · 性能排查 · Go问答 · select Go channel context default CPU飙高 忙等循环 ticker438 收藏
-
Golang · Go问答 | 5天前 | pprof · trace · 性能排查 · Go问答 · 服务安全 · Go pprof 生产环境 trace 安全入口 net/http/pprof 性能排障349 收藏
-
Golang · Go问答 | 5天前 | channel · 并发编程 · Go问答 · 背压 · 容量规划 · Goroutine channel 缓冲区 背压 Go问答 buffered channel 并发容量377 收藏
-
Golang · Go问答 | 5天前 | interface · 单元测试 · 架构设计 · repository · Go问答 · 单元测试 架构设计 interface 接口设计 Go问答 调用方定义 Repository212 收藏
-
Golang · Go问答 | 5天前 | JSON · time.Time · 接口设计 · Go问答 · encoding/json · encoding/json API响应 JSON序列化 time.Time omitempty Go问答 omitzero315 收藏
-
Golang · Go问答 | 5天前 | HTTP · Cookie · 浏览器 · cors · Go问答 · SameSite · cookie cors Secure SameSite Go问答 Set-Cookie 跨站请求 credentials246 收藏
课程推荐
更多>
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习