Ginkgo 测试套件误报问题：SIGTERM 信号发送失败

从现在开始，我们要努力学习啦！今天我给大家带来《Ginkgo 测试套件误报问题：SIGTERM 信号发送失败》，感兴趣的朋友请继续看下去吧！下文中的内容我们主要会涉及到等等知识点，如果在阅读本文过程中有遇到不清楚的地方，欢迎留言呀！我们一起讨论，一起学习！

在使用 ginkgo 框架编写测试时，我注意到按 c-c 终止正在运行的套件会产生误报。

注意绿色的“1 passed”

当您查看代码时，您会发现此测试应在 5 秒后失败。当我在 2 秒后终止它时，套件失败，但在结果中，有 1 个通过测试，0 个失败。

debian stretch 和 ubuntu 18.04 上的 go 版本 1.11.4 和 1.12.4 的行为相同。

套件代码（使用 ginkgo bootstrap 自动生成）：

package hmmm_test

import (
    "testing"

    . "github.com/onsi/ginkgo"
    . "github.com/onsi/gomega"
)

func testhmmm(t *testing.t) {
    registerfailhandler(fail)
    runspecs(t, "hmmm suite")
}

测试代码：

package hmmm_test

import (
    "time"

    . "github.com/onsi/ginkgo"
    . "github.com/onsi/gomega"
)

var _ = describe("hmmm", func() {
    context("dummy test", func() {
        it("should fail after 5 seconds", func() {
            time.sleep(5 * time.second)
            expect(1).notto(equal(1))
        })
    })
})

测试运行 5 秒时的输出（正确的一个）：

$ ginkgo

running suite: hmmm suite
=========================
random seed: 1555580607
will run 1 of 1 specs
• failure [5.001 seconds]
hmmm
/tmp/hmmm/hmmm_test.go:10
  dummy test
  /tmp/hmmm/hmmm_test.go:11
    should fail after 5 seconds [it]
    /tmp/hmmm/hmmm_test.go:12
    expected
        : 1
    not to equal
        : 1
    /tmp/hmmm/hmmm_test.go:14
------------------------------
summarizing 1 failure:
[fail] hmmm dummy test [it] should fail after 5 seconds
/tmp/hmmm/hmmm_test.go:14
ran 1 of 1 specs in 5.002 seconds
fail! -- 0 passed | 1 failed | 0 pending | 0 skipped
--- fail: testhmmm (5.00s)
fail
ginkgo ran 1 suite in 5.665592703s
test suite failed

测试在完成之前终止时的输出（误报）：

$ ginkgo

Running Suite: Hmmm Suite
=========================
Random Seed: 1555580763
Will run 1 of 1 specs
^C
Ran 1 of 1 Specs in 1.187 seconds
FAIL! -- 1 Passed | 0 Failed | 0 Pending | 0 Skipped
Ginkgo ran 1 suite in 1.85541211s
Test Suite Failed

我希望输出是这样的： 失败！ -- 0 通过 | 1 失败 | 0 待定 | 0 已跳过 或者 1 已跳过或待处理，但不是 passed 尤其是测试被写入失败。

实际输出表明失败，但所有测试...都通过了： 失败！ -- 1 通过 | 0 失败 | 0 待定 | 0 跳过

我错过了什么吗？

解决方案

这是预期的行为，但我不一定会声称这是故意的、明确的或正确的。发生这种情况是因为测试以 passing¹ 开始其运行生命周期，并更改其他事件（失败/紧急）的状态。

当 Ginkgo 收到 SIGTERM 时，它不会停止当前正在运行的测试（尽管它会阻止更多测试运行²）。同时，它还会收集迄今为止运行的测试的报告³。此集合将迭代所有已开始“处理”⁴（松散相关但比运行稍早开始）的节点。由于测试以通过状态开始并且没有改变，因此报告为通过。

这个问题不是讨论这种方法有效性的地方（很可能有更好的方法）。如果您想请求更改此行为，请使用您打开的问题⁵。

今天关于《Ginkgo 测试套件误报问题：SIGTERM 信号发送失败》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！