Go实现线程池(工作池)的两种方式实例详解
来源:脚本之家
时间:2022-12-30 10:51:12 254浏览 收藏
亲爱的编程学习爱好者,如果你点开了这篇文章,说明你对《Go实现线程池(工作池)的两种方式实例详解》很感兴趣。本篇文章就来给大家详细解析一下,主要介绍一下go线程池,希望所有认真读完的童鞋们,都有实质性的提高。
worker pool简介
worker pool其实就是线程池thread pool。对于go来说,直接使用的是goroutine而非线程,不过这里仍然以线程来解释线程池。
在线程池模型中,有2个队列一个池子:任务队列、已完成任务队列和线程池。其中已完成任务队列可能存在也可能不存在,依据实际需求而定。
只要有任务进来,就会放进任务队列中。只要线程执行完了一个任务,就将任务放进已完成任务队列,有时候还会将任务的处理结果也放进已完成队列中。
worker pool中包含了一堆的线程(worker,对go而言每个worker就是一个goroutine),这些线程嗷嗷待哺,等待着为它们分配任务,或者自己去任务队列中取任务。取得任务后更新任务队列,然后执行任务,并将执行完成的任务放进已完成队列。
下图来自wiki:
在Go中有两种方式可以实现工作池:传统的互斥锁、channel。
传统互斥锁机制的工作池
假设Go中的任务的定义形式为:
type Task struct { ... }
每次有任务进来时,都将任务放在任务队列中。
使用传统的互斥锁方式实现,任务队列的定义结构大概如下:
type Queue struct{ M sync.Mutex Tasks []Task }
然后在执行任务的函数中加上Lock()和Unlock()。例如:
func Worker(queue *Queue) { for { // Lock()和Unlock()之间的是critical section queue.M.Lock() // 取出任务 task := queue.Tasks[0] // 更新任务队列 queue.Tasks = queue.Tasks[1:] queue.M.Unlock() // 在此goroutine中执行任务 process(task) } }
假如在线程池中激活了100个goroutine来执行Worker()。Lock()和Unlock()保证了在同一时间点只能有一个goroutine取得任务并随之更新任务列表,取任务和更新任务队列都是critical section中的代码,它们是具有原子性。然后这个goroutine可以执行自己取得的任务。于此同时,其它goroutine可以争夺互斥锁,只要争抢到互斥锁,就可以取得任务并更新任务列表。当某个goroutine执行完process(task),它将因为for循环再次参与互斥锁的争抢。
上面只是给出了一点主要的代码段,要实现完整的线程池,还有很多额外的代码。
通过互斥锁,上面的一切操作都是线程安全的。但问题在于加锁/解锁的机制比较重量级,当worker(即goroutine)的数量足够多,锁机制的实现将出现瓶颈。
通过buffered channel实现工作池
在Go中,也能用buffered channel实现工作池。
示例代码很长,所以这里先拆分解释每一部分,最后给出完整的代码段。
在下面的示例中,每个worker的工作都是计算每个数值的位数相加之和。例如给定一个数值234,worker则计算2+3+4=9
。这里交给worker的数值是随机生成的[0,999)范围内的数值。
这个示例有几个核心功能需要先解释,也是通过channel实现线程池的一般功能:
- 创建一个task buffered channel,并通过allocate()函数将生成的任务存放到task buffered channel中
- 创建一个goroutine pool,每个goroutine监听task buffered channel,并从中取出任务
- goroutine执行任务后,将结果写入到result buffered channel中
- 从result buffered channel中取出计算结果并输出
首先,创建Task和Result两个结构,并创建它们的通道:
type Task struct { ID int randnum int } type Result struct { task Task result int } var tasks = make(chan Task, 10) var results = make(chan Result, 10)
这里,每个Task都有自己的ID,以及该任务将要被worker计算的随机数。每个Result都包含了worker的计算结果result以及这个结果对应的task,这样从Result中就可以取出任务信息以及计算结果。
另外,两个通道都是buffered channel,容量都是10。每个worker都会监听tasks通道,并取出其中的任务进行计算,然后将计算结果和任务自身放进results通道中。
然后是计算位数之和的函数process(),它将作为worker的工作任务之一。
func process(num int) int { sum := 0 for num != 0 { digit := num % 10 sum += digit num /= 10 } time.Sleep(2 * time.Second) return sum }
这个计算过程其实很简单,但随后还睡眠了2秒,用来假装执行一个计算任务是需要一点时间的。
然后是worker(),它监听tasks通道并取出任务进行计算,并将结果放进results通道。
func worker(wg *WaitGroup){ defer wg.Done() for task := range tasks { result := Result{task, process(task.randnum)} results上面的代码很容易理解,只要tasks channel不关闭,就会一直监听该channel。需要注意的是,该函数使用指针类型的
*WaitGroup
作为参数,不能直接使用值类型的WaitGroup
作为参数,这样会使得每个worker都有一个自己的WaitGroup。然后是创建工作池的函数createWorkerPool(),它有一个数值参数,表示要创建多少个worker。
func createWorkerPool(numOfWorkers int) { var wg sync.WaitGroup for i := 0; i创建工作池时,首先创建一个WaitGroup的值wg,这个wg被工作池中的所有goroutine共享,每创建一个goroutine都wg.Add(1)。创建完所有的goroutine后等待所有的groutine都执行完它们的任务,只要有一个任务还没有执行完,这个函数就会被Wait()阻塞。当所有任务都执行完成后,关闭results通道,因为没有结果再需要向该通道写了。
当然,这里是否需要关闭results通道,是由稍后的range迭代这个通道决定的,不关闭这个通道会一直阻塞range,最终导致死锁。
工作池部分已经完成了。现在需要使用allocate()函数分配任务:生成一大堆的随机数,然后将Task放进tasks通道。该函数有一个代表创建任务数量的数值参数:
func allocate(numOfTasks int) { for i := 0; i注意,最后需要关闭tasks通道,因为所有任务都分配完之后,没有任务再需要分配。当然,这里之所以需要关闭tasks通道,是因为worker()中使用了range迭代tasks通道,如果不关闭这个通道,worker将在取完所有任务后一直阻塞,最终导致死锁。
再接着的是取出results通道中的结果进行输出,函数名为getResult():
func getResult(done chan bool) { for result := range results { fmt.Printf("Task id %d, randnum %d , sum %d\n", result.task.id, result.task.randnum, result.result) } donegetResult()中使用了一个done参数,这个参数是一个信号通道,用来表示results中的所有结果都取出来并处理完成了,这个通道不一定要用bool类型,任何类型皆可,它不用来传数据,仅用来返回可读,所以上面直接close(done)的效果也一样。通过下面的main()函数,就能理解done信号通道的作用。
最后还差main()函数:
func main() { // 记录起始终止时间,用来测试完成所有任务耗费时长 startTime := time.Now() numOfWorkers := 20 numOfTasks := 100 // 创建任务到任务队列中 go allocate(numOfTasks) // 创建工作池 go createWorkerPool(numOfWorkers) // 取得结果 var done = make(chan bool) go getResult(done) // 如果results中还有数据,将阻塞在此 // 直到发送了信号给done通道上面分配了20个worker,这20个worker总共需要处理的任务数量为100。但注意,无论是tasks还是results通道,容量都是10,意味着任务队列最长只能是10个任务。
下面是完整的代码段:
package main import ( "fmt" "math/rand" "sync" "time" ) type Task struct { id int randnum int } type Result struct { task Task result int } var tasks = make(chan Task, 10) var results = make(chan Result, 10) func process(num int) int { sum := 0 for num != 0 { digit := num % 10 sum += digit num /= 10 } time.Sleep(2 * time.Second) return sum } func worker(wg *sync.WaitGroup) { defer wg.Done() for task := range tasks { result := Result{task, process(task.randnum)} results执行结果:
Task id 19, randnum 914 , sum 14 Task id 9, randnum 150 , sum 6 Task id 15, randnum 215 , sum 8 ............ Task id 97, randnum 315 , sum 9 Task id 99, randnum 641 , sum 11 total time taken 10.0174705 seconds总共花费10秒。
可以试着将任务数量、worker数量修改修改,看看它们的性能比例情况。例如,将worker数量设置为99,将需要4秒,将worker数量设置为10,将需要20秒。
更多关于创建GO线程池的问题请查看下面的相关链接
以上就是本文的全部内容了,是否有顺利帮助你解决问题?若是能给你带来学习上的帮助,请大家多多支持golang学习网!更多关于Golang的相关知识,也可关注golang学习网公众号。
-
505 收藏
-
502 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
370 收藏
-
201 收藏
-
102 收藏
-
467 收藏
-
469 收藏
-
148 收藏
-
250 收藏
-
350 收藏
-
206 收藏
-
467 收藏
-
501 收藏
-
216 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习
-
- 勤奋的哈密瓜
- 这篇技术文章出现的刚刚好,很详细,很有用,已加入收藏夹了,关注up主了!希望up主能多写Golang相关的文章。
- 2023-02-17 10:49:46
-
- 勤奋的小海豚
- 受益颇多,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,帮助很大,总算是懂了,感谢up主分享文章内容!
- 2023-02-12 17:07:35
-
- 大方的凉面
- 太全面了,mark,感谢up主的这篇技术文章,我会继续支持!
- 2023-01-22 13:37:39
-
- 风趣的大神
- 这篇文章太及时了,细节满满,受益颇多,mark,关注师傅了!希望师傅能多写Golang相关的文章。
- 2023-01-22 12:34:20
-
- 乐观的口红
- 很棒,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,看完之后很有帮助,总算是懂了,感谢作者分享文章!
- 2023-01-14 21:54:41
-
- 热情的草莓
- 这篇技术文章真是及时雨啊,太细致了,很好,码起来,关注博主了!希望博主能多写Golang相关的文章。
- 2022-12-31 13:34:00
-
- 坚强的奇迹
- 很棒,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,帮助很大,总算是懂了,感谢老哥分享博文!
- 2022-12-30 17:53:18