登录
首页 >  Golang >  Go问答

比较Node.js带有集群模块的EventLoop与Golang的Scheduler

来源:stackoverflow

时间:2024-03-04 15:27:26 382浏览 收藏

小伙伴们有没有觉得学习Golang很有意思?有意思就对了!今天就给大家带来《比较Node.js带有集群模块的EventLoop与Golang的Scheduler》,以下内容将会涉及到,若是在学习中对其中部分知识点有疑问,或许看了本文就能帮到你!

问题内容

在 nodejs 中,主要的批评是基于其单线程事件循环模型。

nodejs 的最大缺点是无法在应用程序中执行 cpu 密集型任务。为了演示目的,我们以 while 循环为例(这可能类似于返回数十万条记录的 db 函数,然后在 nodejs 中处理这些记录。)

while(1){
    x++
}

此类代码将阻塞主堆栈,因此事件队列中等待的所有其他任务将永远没有机会执行。 (并且在网络应用程序中,新用户将无法连接到该应用程序)。

但是,人们可以使用像 cluster 这样的模块来利用多核系统并部分解决上述问题。 cluster 模块允许创建一个由独立进程组成的小型网络,这些进程可以共享服务器端口,从而使 node.js 应用程序能够访问服务器的全部功能。 (但是,使用 cluster 的最大缺点之一是无法在应用程序代码中维护状态)。 但是,如果服务器负载过多,我们很可能会再次陷入相同的情况(如上所述)。

当我开始学习go语言并了解它的架构和goroutine时,我认为它可能会解决由于nodejs的单线程事件循环模型而出现的问题。而且它可能会避免上述 cpu 密集型任务的场景,直到我遇到了这段有趣的代码,它阻止了所有 go 应用程序并且没有任何反应,就像 nodejs 中的 while 循环一样。

func main() {
    var x int
    threads := runtime.GOMAXPROCS(0)
    for i := 0; i < threads; i++ {
        go func() {
            for { x++ }
        }()
    }
    time.Sleep(time.Second)
    fmt.Println("x =", x)
}
//or perhaps even if we use some number that is just greater than the threads.

所以,问题是,如果我有一个负载密集型应用程序,并且还有很多 cpu 密集型任务,我可能会陷入上述场景。 (其中数据库返回大量行,然后应用程序需要处理和修改这些行中的某些内容)。难道传入的用户不会被阻止,所有其他任务也会被阻止吗?

那么,如何解决上述问题呢?

附注

或者也许,我提到的用例没有多大意义? :)


解决方案


目前(Go 1.11 及更早版本)您所谓的 紧循环确实会堵塞代码。 发生这种情况的原因很简单,因为目前 Go 编译器 插入执行“抢占检查”的代码(«我应该让出 到调度程序,以便它运行另一个 goroutine?»)仅在 它编译的函数的序言(几乎,但我们不要离题)。 如果您的循环不调用任何函数,则不会进行抢占检查 将被制作。

Go 开发者很清楚这一点 和are working on eventually alleviating this issue

不过,请注意,您所声称的问题在 最真实的场景:执行时间较长的代码 运行 CPU 密集型工作而不调用任何函数 非常罕见,而且介于两者之间。

在这种情况下,你确实有这样的代码并且你有 检测到它确实让其他 goroutine 挨饿 (让我强调一下:您已经通过分析发现了这一点——如 与仅仅想象“它一定很慢”不同),你可以 应用多种技术来解决这个问题:

  • 在某些关键点插入拨打 runtime.Gosched() 的电话 长时间运行的 CPU 密集型代码。 这将强制将控制权交给另一个 goroutine 虽然实际上并没有挂起调用者 goroutine (所以它会 一旦再次安排就运行)。
  • 为运行的 goroutine 提供专用的操作系统线程 那些CPU占用者:
    1. 将此类 CPU 占用集合绑定到 N“worker goroutine”;
    2. 在他们面前放置一个调度员(称为 "fan-out");
    3. 确保 N 明显小于 runtime.GOMAXPROCS 提高后者,以便您拥有这些 N 额外线程。
    4. 通过调度程序将工作单元铲到那些专用的 goroutine 中。

以上就是《比较Node.js带有集群模块的EventLoop与Golang的Scheduler》的详细内容,更多关于的资料请关注golang学习网公众号!

声明:本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>