登录
首页 >  Golang >  Go教程

Golang爬虫项目实战教程

时间：2026-05-20 15:55:34 248浏览 收藏

本文手把手带你用Golang打造一个轻量实用的网页爬虫，仅需标准库+goquery就能高效抓取目标站点（如pkg.go.dev）的文章标题与链接，通过HTTP请求、HTML解析和CSS选择器精准提取数据，并附带完整可运行代码、常见坑点提醒（如选择器适配、错误处理、robots.txt合规性）及进阶优化方向（文件导出、命令行参数、并发控制），让初学者快速掌握爬虫核心流程，轻松迈出自动化数据采集的第一步。

Golang简单爬虫项目实战示例

用Golang写一个简单的爬虫并不复杂，关键在于理解HTTP请求、HTML解析和数据提取的基本流程。下面通过一个实战示例，带你实现一个抓取网页标题和链接的简易爬虫。

项目目标

从指定网页（例如一个博客列表页）抓取所有文章的标题和对应链接，并打印输出。

所需依赖

Go标准库已经能完成大部分工作，但HTML解析我们使用一个轻量第三方库 goquery，它类似jQuery的操作方式，非常方便。

安装 goquery：

go mod init simple-spider<br>go get github.com/PuerkitoBio/goquery

代码实现

以下是一个完整可运行的示例，抓取某个技术博客的文章列表（以示例网站 https://pkg.go.dev 为例，实际可替换为目标站点）：

package main

import (
    "fmt"
    "log"
    "net/http"

    "github.com/PuerkitoBio/goquery"
)

func crawl(url string) {
    // 发起 GET 请求
    resp, err := http.Get(url)
    if err != nil {
        log.Fatal("请求失败:", err)
    }
    defer resp.Body.Close()

    // 确保状态码是 200
    if resp.StatusCode != 200 {
        log.Fatalf("状态码错误: %d", resp.StatusCode)
    }

    // 使用 goquery 解析 HTML
    doc, err := goquery.NewDocumentFromReader(resp.Body)
    if err != nil {
        log.Fatal("解析 HTML 失败:", err)
    }

    // 查找文章标题和链接（根据实际网页结构调整选择器）
    doc.Find("a[href^='/pkg']").Each(func(i int, s *goquery.Selection) {
        title := s.Text()                   // 获取链接文本
        href, _ := s.Attr("href")           // 获取 href 属性
        link := "https://pkg.go.dev" + href // 拼接完整 URL

        fmt.Printf("文章 %d:\n", i+1)
        fmt.Printf("  标题: %s\n", title)
        fmt.Printf("  链接: %s\n", link)
    })
}

func main() {
    url := "https://pkg.go.dev"
    crawl(url)
}

运行结果

程序会输出类似：

文章 1:
  标题: bufio
  链接: https://pkg.go.dev/bufio
文章 2:
  标题:  bytes
  链接: https://pkg.go.dev/bytes
...

注意事项与优化建议

  • 选择器要准确：使用浏览器开发者工具检查目标网页结构，调整 Find() 中的选择器。
  • 避免频繁请求：爬取多个页面时加入延时，遵守网站的 robots.txt 规则。
  • 错误处理更完善：可增加超时控制、重试机制。
  • 并发爬取：使用 goroutine 可以并发抓取多个页面，提升效率（注意控制并发数）。

扩展思路

这个爬虫可以进一步扩展：

  • 将结果保存为 JSON 或 CSV 文件
  • 加入命令行参数传入目标 URL
  • 使用 colly 框架实现更复杂的爬虫逻辑
基本上就这些。一个简单但实用的Go爬虫已经成型，适合入门学习和小规模数据抓取。

今天关于《Golang爬虫项目实战教程》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！

golang 爬虫
资料下载
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>