Golang 与 Colly：抓取时使用随机假用户代理

golang学习网今天将给大家带来《Golang 与 Colly：抓取时使用随机假用户代理》，感兴趣的朋友请继续看下去吧！以下内容将会涉及到等等知识点，如果你是正在学习Golang或者已经是大佬级别了，都非常欢迎也希望大家都能给我建议评论哈~希望能帮助到大家！

网页抓取过程中，使用不当或默认的用户代理是导致被封锁的主要原因之一。本文将演示如何轻松地在 Go Colly 爬虫中添加随机伪造的用户代理，从而有效规避网站的反爬机制。

什么是伪造用户代理？

用户代理 (User-Agent) 是一个字符串，网站利用它识别发出请求的客户端，包含客户端应用、操作系统（如 Windows、macOS、Linux）和浏览器（如 Chrome、Firefox、Safari）等信息。该字符串作为 HTTP 请求头的一部分发送到服务器。

例如，Android 设备使用 Chrome 浏览器访问网站时的用户代理示例如下：

'user-agent': 'mozilla/5.0 (linux; android 10; k) applewebkit/537.36 (khtml, like gecko) chrome/131.0.0.0 mobile safari/537.36'

在网页抓取过程中，设置用户代理至关重要。 未设置用户代理，网站会轻易识别出非人类流量并阻止您的爬虫。

Go Colly 默认使用以下用户代理：

"user-agent": "colly - https://github.com/gocolly/colly",

此默认用户代理直接暴露了您使用的是 Colly 爬虫，容易被检测和封禁。因此，自定义用户代理是必要的。

如何在 Go Colly 中设置伪造用户代理

在 Go Colly 中设置伪造用户代理非常简单。通过在 OnRequest() 回调函数中设置自定义用户代理，可以修改请求头，确保每个请求都使用不同的随机字符串。

package main

import (
    "bytes"
    "log"
    "github.com/gocolly/colly"
    uaFake "github.com/lib4u/fake-useragent"
)

func main() {
    // 初始化用户代理生成器
    ua, err := uaFake.New()
    if err != nil {
        log.Fatal(err)
    }
    // 初始化采集器
    c := colly.NewCollector(colly.AllowURLRevisit())

    // 设置特定伪造用户代理 (Chrome 桌面版)
    c.OnRequest(func(r *colly.Request) {
        r.Headers.Set("User-Agent", ua.Filter().Chrome().Platform(uaFake.Desktop).Get())
    })

    // 打印响应
    c.OnResponse(func(r *colly.Response) {
        log.Printf("%s\n", bytes.Replace(r.Body, []byte("\n"), nil, -1))
    })

    // 访问 httpbin.org/headers 五次
    for i := 0; i < 5; i++ {
        c.Visit("http://httpbin.org/headers")
    }
}

这段代码使用 Chrome 桌面版浏览器作为用户代理。

总结

通过使用随机伪造的用户代理，可以有效地提高网页抓取的成功率并避免被网站封锁。 记住，除了用户代理，代理服务器和其它系统头信息的使用也同样重要。

相关链接

• github.com/lib4u/fake-useragent
• github.com/gocolly/colly

到这里，我们也就讲完了《Golang 与 Colly：抓取时使用随机假用户代理》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！