基于Golang的网页链接提取器_HTML解析与URL过滤逻辑

直接拼接会出错：原始页面 URL 可能带 hash、query，也可能本身是相对路径（如 //example.com 或 /path），url.Parse 默认按 base URL 解析，但必须传对 base。

实操建议：

• 用 url.Parse(base) 得到 base URL，再用 base.ResolveReference(rel) 处理每个 href
• base 必须是完整 URL（含 scheme），如果只拿到 https://a.com/b/c.html，就用它；如果只有 /b/c.html，得补全 scheme 和 host
• 注意 rel 是从 HTML 属性读出的原始字符串，可能为空、#top、javascript:void(0)，要先过滤再解析

net/http.Get 抓回来的 HTML 里有乱码，golang.org/x/net/html 解析失败怎么办？

常见现象是 Parse 返回 io.ErrUnexpectedEOF 或解析出空文档——本质是 HTTP 响应没声明正确 charset，或响应体实际编码与声明不符（比如声明 UTF-8，实际是 GBK）。

实操建议：

• 先读响应头 Content-Type，提取 charset=xxx；没声明就默认 UTF-8，但得准备 fallback
• 用 golang.org/x/net/html/charset 的 DetermineEncoding + NewReader 自动检测编码（对 HTML body 更准）
• 别直接把 resp.Body 丢给 html.Parse，中间套一层解码后的 io.Reader

怎么过滤掉非目标链接（比如 JS、CSS、锚点、mailto）？

单纯看 href 字符串前缀容易漏判或误杀：javascript: 和 data: 要剔除，mailto: 和 tel: 通常不爬，但 // 开头的协议相对 URL 是合法的，/path 也是。

实操建议：

• 用 url.Parse 解析后判断 u.Scheme：只保留 ""（相对）、"http"、"https"
• u.Fragment != "" 表示是锚点（如 #section1），可跳过
• 对 u.Opaque 非空的情况（如 mailto:a@b.c）直接排除
• 避免正则匹配 ^https?:// —— 会漏掉协议相对链接和纯路径

真正麻烦的是混合场景：一个页面同时有 meta charset 声明、BOM 头、script 动态写入 a 标签、还有 CSP 限制 referer。这时候解析逻辑得拆成「预检 → 解码 → 构建 DOM 树 → 提取 → 规范化 → 过滤」五步，少一步都可能漏链接或崩掉。

好了，本文到此结束，带大家了解了《基于Golang的网页链接提取器_HTML解析与URL过滤逻辑》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多Golang知识！