登录
首页 >  Golang >  Go问答

在colly中如何使用id或class来定位HTML元素?

来源:stackoverflow

时间:2024-03-08 23:00:24 135浏览 收藏

怎么入门Golang编程?需要学习哪些知识点?这是新手们刚接触编程时常见的问题;下面golang学习网就来给大家整理分享一些知识点,希望能够给初学者一些帮助。本篇文章就来介绍《在colly中如何使用id或class来定位HTML元素?》,涉及到,有需要的可以收藏一下

问题内容

我正在使用 colly 来抓取网站。在 onhtml 回调中:

package main

import (
    "fmt"
    "github.com/gocolly/colly"
)

func main() {

    // Instantiate default collector
    c := colly.NewCollector()

    // On every a element which has href attribute call callback
    c.OnHTML("h3", func(e *colly.HTMLElement) {
        link := e.Text
        // Print link
        fmt.Printf("Link found: %q -> %s\n", e.Text, link)
        // Visit link found on page
        // Only those links are visited which are in AllowedDomains
        c.Visit(e.Request.AbsoluteURL(link))
    })

    // Before making a request print "Visiting ..."
    c.OnRequest(func(r *colly.Request) {
        fmt.Println("Visiting", r.URL.String())
    })

    // Start scraping on https://hackerspaces.org
    c.Visit("https://bbs.archusers.ir/")
}

例如,我想获取所有带有“id name”id 的内容或获取所有带有“class name”的内容。我该怎么做?!


解决方案


我找到了答案 here。对于 colly 框架来说真是很棒的教程。

OnHTML 是一个强大的工具。它可以搜索 CSS 选择器(即 div.my_fancy_class 或 #someElementId),并且您可以将多个 OnHTML 回调附加到收集器以处理不同的页面类型。

今天关于《在colly中如何使用id或class来定位HTML元素?》的内容就介绍到这里了,是不是学起来一目了然!想要了解更多关于的内容请关注golang学习网公众号!

声明:本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>