首页 > Golang > Go教程

Golang 与 Colly：抓取时使用随机假用户代理

时间：2025-01-19 19:45:48 329浏览收藏

golang学习网今天将给大家带来《Golang 与 Colly：抓取时使用随机假用户代理》，感兴趣的朋友请继续看下去吧！以下内容将会涉及到等等知识点，如果你是正在学习Golang或者已经是大佬级别了，都非常欢迎也希望大家都能给我建议评论哈~希望能帮助到大家！

网页抓取过程中，使用不当或默认的用户代理是导致被封锁的主要原因之一。本文将演示如何轻松地在 Go Colly 爬虫中添加随机伪造的用户代理，从而有效规避网站的反爬机制。

什么是伪造用户代理？

用户代理 (User-Agent) 是一个字符串，网站利用它识别发出请求的客户端，包含客户端应用、操作系统（如 Windows、macOS、Linux）和浏览器（如 Chrome、Firefox、Safari）等信息。该字符串作为 HTTP 请求头的一部分发送到服务器。

例如，Android 设备使用 Chrome 浏览器访问网站时的用户代理示例如下：

'user-agent': 'mozilla/5.0 (linux; android 10; k) applewebkit/537.36 (khtml, like gecko) chrome/131.0.0.0 mobile safari/537.36'

在网页抓取过程中，设置用户代理至关重要。未设置用户代理，网站会轻易识别出非人类流量并阻止您的爬虫。

Go Colly 默认使用以下用户代理：

"user-agent": "colly - https://github.com/gocolly/colly",

此默认用户代理直接暴露了您使用的是 Colly 爬虫，容易被检测和封禁。因此，自定义用户代理是必要的。

如何在 Go Colly 中设置伪造用户代理

在 Go Colly 中设置伪造用户代理非常简单。通过在 OnRequest() 回调函数中设置自定义用户代理，可以修改请求头，确保每个请求都使用不同的随机字符串。

package main

import (
    "bytes"
    "log"
    "github.com/gocolly/colly"
)

func main() {
    // 初始化采集器
    c := colly.NewCollector(colly.AllowURLRevisit())

    // 设置伪造用户代理
    c.OnRequest(func(r *colly.Request) {
        r.Headers.Set("User-Agent", "Mozilla/5.0 (iPad; CPU OS 12_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148")
    })

    // 打印响应
    c.OnResponse(func(r *colly.Response) {
        log.Printf("%s\n", bytes.Replace(r.Body, []byte("\n"), nil, -1))
    })

    // 访问 httpbin.org/headers 五次
    for i := 0; i < 5; i++ {
        c.Visit("http://httpbin.org/headers")
    }
}

上述代码中，爬虫将使用指定的用户代理进行每次请求。

如何轮换随机用户代理

对于大规模抓取，使用相同用户代理并非最佳实践。为了解决这个问题，需要让 Go Colly 爬虫为每个请求使用随机的用户代理。

可以使用 github.com/lib4u/fake-useragent 包生成随机用户代理。

package main

import (
    "bytes"
    "fmt"
    "log"
    "github.com/gocolly/colly"
    uafake "github.com/lib4u/fake-useragent"
)

func main() {
    // 初始化用户代理生成器
    ua, err := uafake.New()
    if err != nil {
        fmt.Println(err)
    }
    // 初始化采集器
    c := colly.NewCollector(colly.AllowURLRevisit())

    // 设置随机伪造用户代理
    c.OnRequest(func(r *colly.Request) {
        r.Headers.Set("User-Agent", ua.Filter().GetRandom())
    })

    // 打印响应
    c.OnResponse(func(r *colly.Response) {
        log.Printf("%s\n", bytes.Replace(r.Body, []byte("\n"), nil, -1))
    })

    // 访问 httpbin.org/headers 五次
    for i := 0; i < 5; i++ {
        c.Visit("http://httpbin.org/headers")
    }
}

这段代码中，每次请求都使用不同的随机用户代理。

使用特定伪造用户代理

github.com/lib4u/fake-useragent 包提供了数千个真实世界数据库中的伪造用户代理。

package main

import (
    "bytes"
    "log"
    "github.com/gocolly/colly"
    uaFake "github.com/lib4u/fake-useragent"
)

func main() {
    // 初始化用户代理生成器
    ua, err := uaFake.New()
    if err != nil {
        log.Fatal(err)
    }
    // 初始化采集器
    c := colly.NewCollector(colly.AllowURLRevisit())

    // 设置特定伪造用户代理 (Chrome 桌面版)
    c.OnRequest(func(r *colly.Request) {
        r.Headers.Set("User-Agent", ua.Filter().Chrome().Platform(uaFake.Desktop).Get())
    })

    // 打印响应
    c.OnResponse(func(r *colly.Response) {
        log.Printf("%s\n", bytes.Replace(r.Body, []byte("\n"), nil, -1))
    })

    // 访问 httpbin.org/headers 五次
    for i := 0; i < 5; i++ {
        c.Visit("http://httpbin.org/headers")
    }
}

这段代码使用 Chrome 桌面版浏览器作为用户代理。

总结

通过使用随机伪造的用户代理，可以有效地提高网页抓取的成功率并避免被网站封锁。记住，除了用户代理，代理服务器和其它系统头信息的使用也同样重要。

Golang 与 Colly：抓取时使用随机假用户代理

什么是伪造用户代理？

如何在 Go Colly 中设置伪造用户代理

如何轮换随机用户代理

使用特定伪造用户代理

总结

相关链接