如何在goroutine超时后执行续操作？

积累知识，胜过积蓄金银！毕竟在Golang开发的过程中，会遇到各种各样的问题，往往都是一些细节知识点还没有掌握好而导致的，因此基础知识点的积累是很重要的。下面本文《如何在goroutine超时后执行续操作？》，就带大家讲解一下知识点，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

我正在对不同的 url 执行并发 get 请求（在本例中为 1000 个）。对于这些要求，我遵循消费者-生产者设计。有 50 个工作线程（goroutine - 爬虫）和 1 个生产者（用 url 填充通道）。

问题：我已将客户端中的超时设置为 15 秒（我不想每个请求等待超过 15 秒）。但是，当 url 使 goroutine 等待超过 15 秒时，我的代码会退出

超出上下文截止时间（读取正文时 client.timeout 或上下文取消）

想要的行为：当服务器花费超过 15 秒时，我希望相关的 goroutine 继续处理下一个 url

这是代码片段：

package main

import (
    "bufio"
    "fmt"
    "io"
    "log"
    "net/http"
    "os"
    "sync"
    "time"
)

func crawler(wg *sync.waitgroup, urlchannel <-chan string) {

    defer wg.done()
    client := &http.client{timeout: 15 * time.second} // single client is sufficient for multiple requests

    for urlitem := range urlchannel {

        req1, _ := http.newrequest("get", "http://"+urlitem, nil)                                           // generating the request
        req1.header.add("user-agent", "mozilla/5.0 (x11; linux i586; rv:31.0) gecko/20100101 firefox/74.0") // changing user-agent
        resp1, resperr1 := client.do(req1)                                                                  // sending the prepared request and getting the response
        if resperr1 != nil {
            fmt.println("server error", urlitem)
            continue
        }

        if resp1.statuscode/100 == 2 { // means server responded with 2xx code

            f1, fileerr1 := os.create("200/" + urlitem + "_original.txt") // creating the relative file
            if fileerr1 != nil {
                fmt.println("file error", urlitem)
                log.fatal(fileerr1)
            }

            _, writeerr1 := io.copy(f1, resp1.body) // writing the sourcecode into our file
            if writeerr1 != nil {
                fmt.println("file error", urlitem)
                log.fatal(writeerr1)
            }
            f1.close()
            resp1.body.close()

            fmt.println("success:", urlitem)

        }
    }
}

func main() {

    var wg sync.waitgroup // synchronization to wait for all the goroutines

    file, err := os.open("urls.txt") // the file containing the url's
    if err != nil {
        log.fatal(err)
    }
    defer file.close() // don't forget to close the file

    urlchannel := make(chan string) // create a channel to store all the url's

    _ = os.mkdir("200", 0755) // if it's there, it will create an error, and we will simply ignore it

    for i := 0; i < 50; i++ {
        wg.add(1)
        go crawler(&wg, urlchannel)
    }

    scanner := bufio.newscanner(file) // each line has another url
    for scanner.scan() {
        urlchannel <- scanner.text()
    }
    close(urlchannel)
    wg.wait()
}

具体来说，我以为我正在处理这里的问题（但显然我没有）：

resp1, respErr1 := client.Do(req1)                                                              
// sending the prepared request and getting the response
if respErr1 != nil {
    fmt.Println("server error", urlItem)
    continue
}

如何实现所需的行为（如果超时则跳过 url）？

解决方案

它可能在这里：

_, writeErr1 := io.Copy(f1, resp1.Body) // writing the sourcecode into our file
            if writeErr1 != nil {
                fmt.Println("file error", urlItem)
                log.Fatal(writeErr1)
            }

此操作的结果不一定是写入错误，也可能是读取错误，在这种情况下，很可能是。读取响应主体超时。

这种情况下不要调用 log.fatal。

理论要掌握，实操不能落！以上关于《如何在goroutine超时后执行续操作？》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！