Go学习之抓数据并存入MySQL和返回json数据（二）

编程并不是一个机械性的工作，而是需要有思考，有创新的工作，语法是固定的，但解决问题的思路则是依靠人的思维，这就需要我们坚持学习和更新自己的知识。今天golang学习网就整理分享《Go抓取网页数据并存入MySQL和返回json数据》，文章讲解的知识点主要包括MySQL、JSON、go，如果你对数据库方面的知识点感兴趣，就不要错过golang学习网，在这可以对大家的知识积累有所帮助，助力开发能力的提升。

上一节已经说明了要做什么，以及整个小程序的目录结构，接下来就开始编码部分。
首先在入口文件中引入项目下的包

package main

import (
    "fmt"
    "indiepic/crawldata"
)

func main () {
    // 使用crawldata包里面的Crawl()抓取需要的数据存到数据库
    crawldata.Crawl()
    fmt.Println("主函数")
}

然后就是实现包

package crawldata

import (
    "fmt"
)

func Crawl() {
    fmt.Println("包crawldata中的Crawl函数")
}

查看网站 http://www.gratisography.com/，然后审查元素找到某张图片，在图片主要包含了

package crawldata

import (
    "fmt"
    "github.com/PuerkitoBio/goquery"
    "strconv"
    s "strings"
)

// 定义一个存储一条数据的结构体
type ImageData struct {
    Src    string
    Tp     string
    Title  string
    Width  int
    Height int
}

// 定义切片用于存储抓取的全部数据
type ImageDatas []ImageData

func Crawl() {
    fmt.Println("包crawldata中的Crawl函数")

    // 定义一个切片存储所有数据
    var datas ImageDatas
    // 抓取数据
    imageDatas := CrawlData(&datas)
}

在上面的

/*
   该函数用来抓取数据，并将存储的值返回到主函数
*/
func CrawlData(datas *ImageDatas) (imageDatas ImageDatas) {
    imageDatas = *datas
    // 规定抓取时匹配的元素
    var types = [...]string{
        "people",
        "objects",
        "whimsical",
        "nature",
        "urban",
        "animals"}

    doc, err := goquery.NewDocument("http://www.gratisography.com/")
    if err != nil {
        fmt.Printf(err.Error())
    }

    for _, tp := range types {
        doc.Find("#container ul").Find(s.Join([]string{".", tp}, "")).Each(func(i int, s *goquery.Selection) {
            img := s.Find("img.lazy")
            src, _ := img.Attr("data-original")
            title, _ := img.Attr("alt")
            width, _ := img.Attr("width")
            height, _ := img.Attr("height")

            // 将宽度和高度的字符串类型转为数值型
            wd, error := strconv.Atoi(width)
            if error != nil {
                fmt.Println("字符串转换成整数失败")
            }
            hg, error := strconv.Atoi(height)
            if error != nil {
                fmt.Println("字符串转换成整数失败")
            }
            // fmt.Printf("Review %d: %s - %s - %s - %d - %dn", i, src, tp, title, wd, hg)
            imageData := ImageData{src, tp, title, wd, hg}
            imageDatas = append(imageDatas, imageData)
        })
    }
    return
}

定义了一个数组

func Crawl() {
    // 定义一个切片存储所有数据
    var datas ImageDatas
    // 抓取数据
    imageDatas := CrawlData(&datas)
    for i := 0; i <p></p><p>下一步实现将获取的数据插入数据库的方法</p><pre class="brush:go;">InsertData(&imageDatas)

今天带大家了解了MySQL、JSON、go的相关知识，希望对你有所帮助；关于数据库的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~