多个Http.Get随机挂起
来源:stackoverflow
时间:2024-04-14 12:57:32 264浏览 收藏
目前golang学习网上已经有很多关于Golang的文章了,自己在初次阅读这些文章中,也见识到了很多学习思路;那么本文《多个Http.Get随机挂起》,也希望能帮助到大家,如果阅读完后真的对你学习Golang有帮助,欢迎动动手指,评论留言并分享~
我正在尝试学习 golang,并开展了一个简单的项目来调用所有 craigslist 城市并查询它们以进行特定搜索。在下面的代码中,我删除了列表地图中的所有链接,但那里有超过 400 个链接。所以这个循环相当大。我认为这将是一个很好的测试,可以将我所学到的知识应用到应用中,但我遇到了一个奇怪的问题。
有时,大多数 http.get() 都没有从服务器获得响应,而另一些时候,它可以毫无问题地获得所有响应。所以我开始添加打印来显示有多少错误被我们恢复,以及有多少错误成功通过。此外,当它运行时,它会随机挂起并且永远不会响应。程序不会冻结,但网站只是坐在那里尝试加载,并且终端没有显示任何活动。
我通过推迟恢复后的清理来确保我的响应主体已关闭,但它似乎仍然不起作用。有没有什么东西让我想念的人跳出来?
提前谢谢大家!
package main import ( "fmt" "net/http" "html/template" "io/ioutil" "encoding/xml" "sync" ) var wg sync.WaitGroup var locationMap = map[string]string {"https://auburn.craigslist.org/": "auburn "...} var totalRecovers int = 0 var successfulReads int = 0 type Listings struct { Links []string `xml:"item>link"` Titles []string `xml:"item>title"` Descriptions []string `xml:"item>description"` Dates []string `xml:"item>date"` } type Listing struct { Title string Description string Date string } type ListAggPage struct { Title string Listings map[string]Listing SearchRequest string } func cleanUp(link string) { defer wg.Done() if r:= recover(); r!= nil { totalRecovers++ // recoverMap <- link } } func cityRoutine(c chan Listings, link string) { defer cleanUp(link) var i Listings address := link + "search/sss?format=rss&query=motorhome" resp, rErr := http.Get(address) if(rErr != nil) { fmt.Println("Fatal error has occurs while getting response.") fmt.Println(rErr); } bytes, bErr := ioutil.ReadAll(resp.Body) if(bErr != nil) { fmt.Println("Fatal error has occurs while getting bytes.") fmt.Println(bErr); } xml.Unmarshal(bytes, &i) resp.Body.Close() c <- i successfulReads++ } func listingAggHandler(w http.ResponseWriter, r *http.Request) { queue := make(chan Listings, 99999) listing_map := make(map[string]Listing) for key, _ := range locationMap { wg.Add(1) go cityRoutine(queue, key) } wg.Wait() close(queue) for elem := range queue { for index, _ := range elem.Links { listing_map[elem.Links[index]] = Listing{elem.Titles[index * 2], elem.Descriptions[index], elem.Dates[index]} } } p := ListAggPage{Title: "Craigslist Aggregator", Listings: listing_map} t, _ := template.ParseFiles("basictemplating.html") fmt.Println(t.Execute(w, p)) fmt.Println("Successfully loaded: ", successfulReads) fmt.Println("Recovered from: ", totalRecovers) } func indexHandler(w http.ResponseWriter, r *http.Request) { fmt.Fprintf(w, "Whoa, Go is neat!
") } func main() { http.HandleFunc("/", indexHandler) http.HandleFunc("/agg/", listingAggHandler) http.ListenAndServe(":8000", nil) }
解决方案
我无法找到我正在阅读的与此相关的 golang 邮件列表讨论,但您通常不想打开数百个请求。这里有一些信息:How Can I Effectively 'Max Out' Concurrent HTTP Requests?
craigslist 也可能只是限制您的速度。无论哪种方式,我建议限制在 20 个左右的并发请求左右,这是对 listingagghandler
的快速更新。
queue := make(chan listings, 99999) listing_map := make(map[string]listing) request_queue := make(chan string) for i := 0; i < 20; i++ { go func() { for { key := <- request_queue cityroutine(queue, key) } }() } for key, _ := range locationmap { wg.add(1) request_queue <- key } wg.wait() close(request_queue) close(queue)
应用程序应该仍然非常快。我也同意关于你的问题的其他评论。也会尝试避免在全球范围内投入太多内容。
您还可以通过使用请求池中的等待组来稍微修改我的更改,并让每个 goroutine 清理自身并减少等待组。这会限制一些全球范围。
所以我听从了大家的建议,它似乎解决了我的问题,所以我非常感激。我最终像许多人建议的那样删除了全局 waitgroup 并将其作为参数(指针)传入以清理代码。至于之前的错误问题,一定是像 maxm 提到的那样,超出了并发 http 请求。一旦我在每 20 次搜索之间添加等待,我就没有看到任何错误。该程序的运行速度比我想要的要慢一些,但出于学习目的,这很有帮助。
以下是代码所需的主要更改。
counter := 0 for key, _ := range locationMap { if(counter >= 20) { wg.Wait() counter = 0 } wg.Add(1) frmtSearch := key + "search/sss?format=rss&query=" + strings.Replace(p.SearchRequest, " ", "%20", -1) go cityRoutine(queue, frmtSearch, &wg) counter++ }
今天带大家了解了的相关知识,希望对你有所帮助;关于Golang的技术知识我们会一点点深入介绍,欢迎大家关注golang学习网公众号,一起学习编程~
-
502 收藏
-
502 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
139 收藏
-
204 收藏
-
325 收藏
-
477 收藏
-
486 收藏
-
439 收藏
-
357 收藏
-
352 收藏
-
101 收藏
-
440 收藏
-
212 收藏
-
143 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习