登录
首页 >  Golang >  Go问答

Golang 工作池 - 从作业中对新作业进行排队

来源:stackoverflow

时间:2024-04-10 12:48:33 202浏览 收藏

golang学习网今天将给大家带来《Golang 工作池 - 从作业中对新作业进行排队》,感兴趣的朋友请继续看下去吧!以下内容将会涉及到等等知识点,如果你是正在学习Golang或者已经是大佬级别了,都非常欢迎也希望大家都能给我建议评论哈~希望能帮助到大家!

问题内容

我正在尝试从存储桶的集合中同时构建一棵树,并且考虑到工作模式在 go 中似乎非常流行,我尝试将其应用于我的问题。基本上,我启动了一定数量的工作人员,并让他们收听共享的工作频道。然后,第一个工作人员接收树根节点作为第一个作业,并用相关信息填充它,然后再分支并创建另外 2 个作业。然后,这些工作应该分配给其他工作人员,然后递归地生成更多工作,直到构建整个树。 我的简单方法的简化表示类似于:

func workers(count int) {

    wg := sync.WaitGroup{}
    wg.Add(count)

    jobs := make(chan job)
    for i := 0; i < count; i++ {
        go func() {
            // worker waits for job and then executes it
            for j := range jobs {
                processJob(j, jobs)
            }
            wg.Done()
        }()
    }

    // start with some initial job
    jobs <- job{}

    wg.Wait()

}

func processJob(j job, jobs chan job) {

    // jobs channel is closed when tree is finished
    if done {
        close(jobs)
    }
    // Do some more irrelevant stuff

    // sometimes 2 new jobs result from this one
    jobs <- job{}
    jobs <- job{}
    // but that doesn't work, if all workers try to send and no one receives

}

问题是,我无法从 1 个作业中添加 2 个新作业,因为在某些时候,每个工作人员都会忙于尝试将作业发送到通道,并且接收端不会有工作人员。

任何人都可以指出我一个优雅的解决方案的方向,还是我解决问题的整个方法是错误的?


正确答案


如果没有其他工作人员准备好处理作业,则使用当前工作人员:

func dojob(j job, jobs chan job) {
    select {
    case jobs <- j:
    default:
        // send to jobs was not ready, do the job
        // in the current worker.
        processjob(j, jobs)
    }
}

将发送语句 jobs <- job{} 替换为调用 dojob(job{}, jobs)

使用缓冲通道让工作人员保持忙碌:

jobs := make(chan job, N)

调整 n 直到找到工作人员最繁忙的值。 n 的一个很好的起始值是 count。不需要进行此调整来防止死锁。当n等于0时,程序不会死锁。

以上就是本文的全部内容了,是否有顺利帮助你解决问题?若是能给你带来学习上的帮助,请大家多多支持golang学习网!更多关于Golang的相关知识,也可关注golang学习网公众号。

声明:本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>