登录
首页 >  Golang >  Go教程

Golang 实现分片读取http超大文件流和并发控制

来源:脚本之家

时间:2022-12-24 13:23:43 140浏览 收藏

在Golang实战开发的过程中,我们经常会遇到一些这样那样的问题,然后要卡好半天,等问题解决了才发现原来一些细节知识点还是没有掌握好。今天golang学习网就整理分享《Golang 实现分片读取http超大文件流和并发控制》,聊聊HTTP、并发控制、文件流,希望可以帮助到正在努力赚钱的你。

分片读取http超大文件流

Golang中的HTTP发送get请求,在获取内容有两种情况。

Golang发送http get请求方式

resp, err := http.Get(sendUrl)
if err != nil {
 fmt.Println("出错", err)
 return
}

第一种方式是直接全部读取出来,这种方式在小数据量的时候很方便。

body变量直接全部接收resp响应内容

body, err2 := ioutil.ReadAll(resp.Body)

第二种方式,分片获取。

首先顶一个切片buf := make([]byte, 4096) 容量和大小都是4096个char字符(切片就是Golang自己的动态变长数组)

for无限循环读取,读取一块内容放入buf中。result 是一个string字符串,然后用 result 自动拼接。

for {
  n, err:= resp.Body.Read(buf)
 if err != nil || n == 0{
 fmt.Println("出现错误")
 break
 }
 result += string(buf[:n])
}

Golang中匹配正则

MustCompile内容不是单引号,而是 `

// 解析,编译正则表达式
ret := regexp.MustCompile(`(?:(.*?))

该方法可以进一步推广,可以推广到下载超大文件,然后分片读取和写入硬盘。

然后再开启另一个线程去将这些已经写入硬盘的分片合称在一起。

Golang 并发控制

Java中的多线程,如果主线程开启多个子线程后,在多个子线程全部完成后,主线程才会退出,程序终止。

而在Golang中不会出现此类情况,主Go程和子Go程需要人为控制主GO程和子GO程同步,否则主GO程瞬间结束。

在主GO程开始执行子GO程地方创建一个 channel。子GO程开始往 channel 中添加数据,主GO程再消费数据。

func toWork(start, end int) {
 //子Go程与主Go程完成同步,意思是子Go程没有全部执行完毕,主Go程不许退出。
 page := make(chan int) 

 for i:=start; i








往主GO程的channel中添加数据,提供给主GO程消费从而达到同步

func SpiderPage(index int, page chan int) {
 page 



读取http二进制码写入图片

创建文件

获取http流

分片逐步写入

func saveImag(sendUrl string, index int, imageChannel chan int) {
 //创建文件
 path := "C:/img/" + strconv.Itoa(index) + ".jpg"
 f, err := os.Create(path)
 if err != nil {
 return
 }
 defer f.Close()
 //获取http流
 resp, err :=http.Get(sendUrl)
 if err != nil {
 return
 }
 defer resp.Body.Close()
 //分片逐步写入
 buf := make([]byte, 4096)
 for {
 n, err := resp.Body.Read(buf)
 if err != nil {
  break
 }
 f.Write(buf[:n])
 }
 imageChannel 


补充:golang实现http表单大文件流式上传服务端代码

golang的http标准库的上传文件是一次性将文件全部读到内存中,这样上传小文件还可以,但是大文件就无能为力了。

一开始在网上找到一篇gin实现大文件流式上传的文章。大体思路是手动解析form表单的header和body,然后分片读取上传的文件内容。但是代码量有点多且复杂。有兴趣的同学可以自行百度。

后来在github找到一个库

github.com/albrow/forms

可以看到这个库读取上传文件的方法

func (d Data) GetFileBytes(key string) ([]byte, error) {
 fileHeader, found := d.Files[key]
 if !found {
 return nil, nil
 } else {
 file, err := fileHeader.Open()
 if err != nil {
  return nil, err
 }
 return ioutil.ReadAll(file)
 }
}

最后使用的是ioutil.ReadAll,大文件上传的话就会有问题,要实现流式上传,可以在这个包里加一个方法。以下是我自己加的方法

func (d Data) GetFileReader(key string) (io.Reader, error) {
 fileHeader, found := d.Files[key]
 if !found {
 return nil, nil
 } else {
 file, err := fileHeader.Open()
 if err != nil {
  return nil, err
 }
 return file, nil
 }
}

得到reader后使用io.Copy即可将文件落盘

 userData, err := forms.Parse(c.Request)
  if err != nil {
  log.Printf("parse错误:%v", err)
  return
  }
  header := userData.GetFile("file")
  fileReader, err := userData.GetFileReader("file")
  if err != nil {
  log.Printf("获取reader错误:%v", err)
  return
  }
  file, _ := os.Create(header.Filename)
  io.Copy(file, fileReader)

以上为个人经验,希望能给大家一个参考,也希望大家多多支持golang学习网。如有错误或未考虑完全的地方,望不吝赐教。

今天关于《Golang 实现分片读取http超大文件流和并发控制》的内容介绍就到此结束,如果有什么疑问或者建议,可以在golang学习网公众号下多多回复交流;文中若有不正之处,也希望回复留言以告知!

声明:本文转载于:脚本之家 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>