登录
首页 >  Golang >  Go教程

Go并发编程实践

来源:脚本之家

时间:2022-12-30 09:44:09 161浏览 收藏

亲爱的编程学习爱好者,如果你点开了这篇文章,说明你对《Go并发编程实践》很感兴趣。本篇文章就来给大家详细解析一下,主要介绍一下并发,希望所有认真读完的童鞋们,都有实质性的提高。

前言

并发编程一直是Golang区别与其他语言的很大优势,也是实际工作场景中经常遇到的。近日笔者在组内分享了我们常见的并发场景,及代码示例,以期望大家能在遇到相同场景下,能快速的想到解决方案,或者是拿这些方案与自己实现的比较,取长补短。现整理出来与大家共享。

简单并发场景

很多时候,我们只想并发的做一件事情,比如测试某个接口的是否支持并发。那么我们就可以这么做:

func RunScenario1() {
    count := 10
    var wg sync.WaitGroup

    for i := 0; i 

<p>使用goroutine来实现异步,使用WaitGroup来等待所有goroutine结束。这里要注意的是要正确释放WaitGroup的counter(在goroutine里调用Done()方法)。</p>
<p>但此种方式有个弊端,就是当goroutine的量过多时,很容易消耗完客户端的资源,导致程序表现不佳。</p>
<p><strong>规定时间内的持续并发模型</strong></p>
<p>我们仍然以测试某个后端API接口为例,如果我们想知道这个接口在持续高并发情况下是否有句柄泄露,这种情况该如何测试呢?</p>
<p>这种时候,我们需要能控制时间的高并发模型:</p>

<pre class="brush:java;">
func RunScenario2() {
  timeout := time.Now().Add(time.Second * time.Duration(10))
  n := runtime.NumCPU()

  waitForAll := make(chan struct{})
  done := make(chan struct{})
  concurrentCount := make(chan struct{}, n)

  for i := 0; i 

<p>上面的代码里,我们通过一个buffered channel来控制并发的数量(concurrentCount),然后另起一个channel来周期性的发起新的任务,而控制的条件就是 time.Now().Before(timeout),这样当超过规定的时间,waitForAll 就会得到信号,而使整个程序退出。</p>
<p>这是一种实现方式,那么还有其他的方式没?我们接着往下看。</p>
<p><strong>基于大数据量的并发模型</strong></p>
<p>前面说的基于时间的并发模型,那如果只知道数据量很大,但是具体结束时间不确定,该怎么办呢?</p>
<p>比如,客户给了个几TB的文件列表,要求把这些文件从存储里删除。再比如,实现个爬虫去爬某些网站的所有内容。</p>
<p>而解决此类问题,最常见的就是使用工作池模式了(Worker Pool)。以删文件为例,我们可以简单这样来处理:</p>
<p><img src="/uploads/20221230/167236470963ae42a580647.png" alt=""></p>
<p>Jobs - 可以从文件列表里读取文件,初始化为任务,然后发给worker<br>
Worker - 拿到任务开始做事<br>
Collector - 收集worker处理后的结果<br>
Worker Pool - 控制并发的数量</p>
<p>虽然这只是个简单Worker Pool模型,但已经能满足我们的需求:</p>

<pre class="brush:java;">
func RunScenario3() {
    numOfConcurrency := runtime.NumCPU()
    taskTool := 10
    jobs := make(chan int, taskTool)
    results := make(chan int, taskTool)
    var wg sync.WaitGroup

    // workExample
    workExampleFunc := func(id int, jobs 

<p>在Go里,分发任务,收集结果,我们可以都交给Channel来实现。从实现上更加的简洁。</p>
<p>仔细看会发现,本模型也是适用于按时间来控制并发。只要把totalTask的遍历换成时间控制就好了。</p>
<p><strong>等待异步任务执行结果</strong></p>
<p>goroutine和channel的组合在实际编程时经常会用到,而加上Select更是无往而不利。</p>

<pre class="brush:java;">
func RunScenario4() {
    sth := make(chan string)
    result := make(chan string)
    go func() {
       id := rand.Intn(100)
       for {
           sth 

<p>在select的case情况,加上time.After()模型可以让我们在一定时间范围内等待异步任务结果,防止程序卡死。</p>
<p><strong>定时反馈异步任务结果</strong></p>
<p>上面我们说到持续的压测某后端API,但并未实时收集结果。而很多时候对于性能测试场景,实时的统计吞吐率,成功率是非常有必要的。</p>

<pre class="brush:java;">
func RunScenario5() {
  concurrencyCount := runtime.NumCPU()
  for i := 0; i 

<p>这种场景就需要使用到Ticker,且上面的Example模型还能控制并发数量,也是非常实用的方式。</p>
<p><strong>知识点总结</strong></p>
<p>上面我们共提到了五种并发模式:</p>
  • 简单并发模型
  • 规定时间内的持续并发模型
  • 基于大数据量的持续并发模型
  • 等待异步任务结果模型
  • 定时反馈异步任务结果模型

归纳下来其核心就是使用了Go的几个知识点:Goroutine, Channel, Select, Time, Timer/Ticker, WaitGroup. 若是对这些不清楚,可以自行Google之。

另完整的Example 代码可以参考这里:https://github.com/jichangjun/golearn/blob/master/src/carlji.com/experiments/concurrency/main.go

使用方式: go run main.go

比如 :

参考文档

https://github.com/golang/go/wiki/LearnConcurrency
这篇是Google官方推荐学习Go并发的资料,从初学者到进阶,内容非常丰富,且权威。

Contact me ?

Email: jinsdu@outlook.com

Blog: http://www.cnblogs.com/jinsdu/

Github: https://github.com/CarlJi

终于介绍完啦!小伙伴们,这篇关于《Go并发编程实践》的介绍应该让你收获多多了吧!欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识,快来关注吧!

声明:本文转载于:脚本之家 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>
评论列表