首页 > 数据库 > MySQL

Go学习之抓数据并存入MySQL和返回json数据（四）

来源：SegmentFault

时间：2023-01-25 13:00:14 164浏览收藏

积累知识，胜过积蓄金银！毕竟在##column_title##开发的过程中，会遇到各种各样的问题，往往都是一些细节知识点还没有掌握好而导致的，因此基础知识点的积累是很重要的。下面本文《Go抓取网页数据并存入MySQL和返回json数据》，就带大家讲解一下MySQL、JSON、go知识点，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

上一节已将将需要的数据从网站 http://www.gratisography.com/ 抓取并存入数据库【使用

crawldata.go

中的

InsertData(&imageDatas)

函数】，现在需要将数据从数据库

indiepic

的表

gratisography

中取出并然会

json

格式的数据。

项目文件夹结构如下：

indiepic
├── README.md
├── crawldata
│   ├── crawldata.go
│   └── database.go
└── indiepic.go

现在将获取数据的函数写在

database.go

中：

func GetAllImages() (imageDatas ImageDatas, err error) {
    // 连接数据库
    db, err := OpenDatabase()
    if err != nil {
        fmt.Printf(s.Join([]string{"连接数据库失败", err.Error()}, "-->"))
        return nil, err
    }
    defer db.Close()

    // Prepare statement for inserting data
    imgOut, err := db.Query("SELECT * FROM gratisography")
    if err != nil {
        fmt.Println(s.Join([]string{"获取数据失败", err.Error()}, "-->"))
        return nil, err
    }
    defer imgOut.Close()

    // 定义扫描select到的数据库字段的变量
    var (
        id          int
        img_url     string
        type_name   string
        title       string
        width       int
        height      int
        create_time string
    )
    for imgOut.Next() {
        // db.Query()中select几个字段就需要Scan多少个字段
        err := imgOut.Scan(&id, &img_url, &type_name, &title, &width, &height, &create_time)
        if err != nil {
            fmt.Println(s.Join([]string{"查询数据失败", err.Error()}, "-->"))
            return nil, err
        } else {
            imageData := ImageData{img_url, type_name, title, width, height}
            imageDatas = append(imageDatas, imageData)
        }
    }

    return imageDatas, nil
}

值得一提的是在

SELECT

语句中拿到多少个字段就需要在

Scan

的时候使用变量去获取多少个字段，否测会报错。所以建议不要像上面那样

SELECT *

，而是指定需要的字段如

SELECT id,img_url,title FROM tableName

。

GetAllImages()

函数返回两个参数

imageDatas ImageDatas

、

err error

。

虽然使用GO自己写一个HTTP请求很简单，但为了更好地处理路由和数据，这里使用一个web框架martini Classy web framework for Go。
在使用之前需要先获取：

go get github.com/go-martini/martini

在

indiepic.go

中引入

martini

import (
    "github.com/go-martini/martini"
)

定义一个结构体

Results

用于表示输出结果的数据结构：

type Results struct {
    Err   int                  // 错误码
    Msg   string               // 错误信息
    Datas crawldata.ImageDatas // 数据，无数据时为nil
}

因为需要输出

json

格式数据，所以需要用

martini

的

encoder

中间件资源,使用下面命令获取：

go get github.com/martini-contrib/encoder

然后

import

import (
    "github.com/martini-contrib/encoder"
)

因为数据已经抓取完存入数据库了，所以在

main

函数中，就不在需要调用

crawldata.Crawl()

了，将其注释掉。然后编写如下代码：

func main() {
    // 使用crawldata包里面的Crawl()抓取需要的数据存到数据库
    // crawldata.Crawl()

    m := martini.New()
    route := martini.NewRouter()

    var (
        results Results
        err     error
    )

    m.Use(func(c martini.Context, w http.ResponseWriter, r *http.Request) {
        // 将encoder.JsonEncoder{}按照encoder.Encoder接口（注意大小写）类型注入到内部
        c.MapTo(encoder.JsonEncoder{}, (*encoder.Encoder)(nil))
        w.Header().Set("Content-Type", "application/json; charset=utf-8")
    })

    route.Get("/", func(enc encoder.Encoder) (int, []byte) {
        result := Results{10001, "Not Found Data", nil}
        return http.StatusOK, encoder.Must(enc.Encode(result))
    })

    route.Get("/api", func(enc encoder.Encoder) (int, []byte) {
        results.Datas, err = crawldata.GetAllImages()
        if err != nil {
            fmt.Println(s.Join([]string{"获取数据失败", err.Error()}, "-->"))
            result := Results{10001, "Data Error", nil}
            return http.StatusOK, encoder.Must(enc.Encode(result))
        } else {
            results.Err = 10001
            results.Msg = "获取数据成功"
            return http.StatusOK, encoder.Must(enc.Encode(results))
        }
    })

    m.Action(route.Handle)
    m.Run()
}

import

部分:

import (
    "fmt"
    "github.com/go-martini/martini"
    "github.com/martini-contrib/encoder"
    "indiepic/crawldata"
    "net/http"
    s "strings"
)

然后运行：