登录
首页 >  Golang >  Go问答

多个Http.Get随机挂起

来源:stackoverflow

时间:2024-04-14 12:57:32 264浏览 收藏

目前golang学习网上已经有很多关于Golang的文章了,自己在初次阅读这些文章中,也见识到了很多学习思路;那么本文《多个Http.Get随机挂起》,也希望能帮助到大家,如果阅读完后真的对你学习Golang有帮助,欢迎动动手指,评论留言并分享~

问题内容

我正在尝试学习 golang,并开展了一个简单的项目来调用所有 craigslist 城市并查询它们以进行特定搜索。在下面的代码中,我删除了列表地图中的所有链接,但那里有超过 400 个链接。所以这个循环相当大。我认为这将是一个很好的测试,可以将我所学到的知识应用到应用中,但我遇到了一个奇怪的问题。

有时,大多数 http.get() 都没有从服务器获得响应,而另一些时候,它可以毫无问题地获得所有响应。所以我开始添加打印来显示有多少错误被我们恢复,以及有多少错误成功通过。此外,当它运行时,它会随机挂起并且永远不会响应。程序不会冻结,但网站只是坐在那里尝试加载,并且终端没有显示任何活动。

我通过推迟恢复后的清理来确保我的响应主体已关闭,但它似乎仍然不起作用。有没有什么东西让我想念的人跳出来?

提前谢谢大家!

package main

import (
    "fmt"
    "net/http"
    "html/template"
    "io/ioutil"
    "encoding/xml"
    "sync"
    )

var wg sync.WaitGroup

var locationMap = map[string]string {"https://auburn.craigslist.org/": "auburn "...}

var totalRecovers int = 0
var successfulReads int = 0

type Listings struct {
    Links []string `xml:"item>link"`
    Titles []string `xml:"item>title"`
    Descriptions []string `xml:"item>description"`
    Dates []string `xml:"item>date"`
}

type Listing struct {
    Title string
    Description string
    Date string
}

type ListAggPage struct {
        Title string
        Listings map[string]Listing
        SearchRequest string
}

func cleanUp(link string) {
    defer wg.Done()
    if r:= recover(); r!= nil {
        totalRecovers++
//      recoverMap <- link
    }
}

func cityRoutine(c chan Listings, link string) {
    defer cleanUp(link)

    var i Listings
    address := link + "search/sss?format=rss&query=motorhome"
    resp, rErr := http.Get(address)
    if(rErr != nil) {
        fmt.Println("Fatal error has occurs while getting response.")
        fmt.Println(rErr);
    }

    bytes, bErr := ioutil.ReadAll(resp.Body)
    if(bErr != nil) {
        fmt.Println("Fatal error has occurs while getting bytes.")
        fmt.Println(bErr);
    }
    xml.Unmarshal(bytes, &i)
    resp.Body.Close()
    c <- i
    successfulReads++
}

func listingAggHandler(w http.ResponseWriter, r *http.Request) {
    queue := make(chan Listings, 99999)
    listing_map := make(map[string]Listing)

    for key, _ := range locationMap {
        wg.Add(1)
        go cityRoutine(queue, key)
    }

    wg.Wait()
    close(queue)

    for elem := range queue { 
        for index, _ := range elem.Links {
        listing_map[elem.Links[index]] = Listing{elem.Titles[index * 2], elem.Descriptions[index], elem.Dates[index]}
        }
    }

    p := ListAggPage{Title: "Craigslist Aggregator", Listings: listing_map}
    t, _ := template.ParseFiles("basictemplating.html")
    fmt.Println(t.Execute(w, p))

    fmt.Println("Successfully loaded: ", successfulReads)       
    fmt.Println("Recovered from: ", totalRecovers)
}

func indexHandler(w http.ResponseWriter, r *http.Request) {
    fmt.Fprintf(w, "

Whoa, Go is neat!

") } func main() { http.HandleFunc("/", indexHandler) http.HandleFunc("/agg/", listingAggHandler) http.ListenAndServe(":8000", nil) }

解决方案


我无法找到我正在阅读的与此相关的 golang 邮件列表讨论,但您通常不想打开数百个请求。这里有一些信息:How Can I Effectively 'Max Out' Concurrent HTTP Requests?

craigslist 也可能只是限制您的速度。无论哪种方式,我建议限制在 20 个左右的并发请求左右,这是对 listingagghandler 的快速更新。

queue := make(chan listings, 99999)
listing_map := make(map[string]listing)

request_queue := make(chan string)
for i := 0; i < 20; i++ {
    go func() {
        for {
            key := <- request_queue
            cityroutine(queue, key)                
        }
    }()
}

for key, _ := range locationmap {
    wg.add(1)
    request_queue <- key
}

wg.wait()
close(request_queue)
close(queue)

应用程序应该仍然非常快。我也同意关于你的问题的其他评论。也会尝试避免在全球范围内投入太多内容。

您还可以通过使用请求池中的等待组来稍微修改我的更改,并让每个 goroutine 清理自身并减少等待组。这会限制一些全球范围。

所以我听从了大家的建议,它似乎解决了我的问题,所以我非常感激。我最终像许多人建议的那样删除了全局 waitgroup 并将其作为参数(指针)传入以清理代码。至于之前的错误问题,一定是像 maxm 提到的那样,超出了并发 http 请求。一旦我在每 20 次搜索之间添加等待,我就没有看到任何错误。该程序的运行速度比我想要的要慢一些,但出于学习目的,这很有帮助。

以下是代码所需的主要更改。

counter := 0
    for key, _ := range locationMap {
        if(counter >= 20) {
            wg.Wait()
            counter = 0
        }
        wg.Add(1)
        frmtSearch := key + "search/sss?format=rss&query=" + strings.Replace(p.SearchRequest, " ", "%20", -1)
        go cityRoutine(queue, frmtSearch, &wg)
        counter++
    }

今天带大家了解了的相关知识,希望对你有所帮助;关于Golang的技术知识我们会一点点深入介绍,欢迎大家关注golang学习网公众号,一起学习编程~

声明:本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>