登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  Golang >  Go问答

Go http.Transport.ProxyFunc 怎样按请求目标动态选择代理

来源:17golang原创

时间:2026-11-17 10:28:09 260浏览 收藏

一次服务间调用异常,表面看是“内网接口偶尔超时”,最后发现并不是 http.Client 的超时参数,而是同一个 Transport 把内网请求也送进了代理。修复的关键不是把代理整体关掉,而是让每个请求根据目标地址选择代理或直连。

官方文档:https://pkg.go.dev/net/http#Transport

先把名称说准确:标准库 http.Transport 没有一个叫 ProxyFunc 的字段,它通过 Proxy 字段接收回调;而 golang.org/x/net/http/httpproxy.Config.ProxyFunc 返回的是一个根据 *url.URL 决定代理的函数。两者都能参与“按请求目标动态选代理”,但参数形状不同,不能直接混用。

判断规则很简单:回调返回非 nil 的代理 URL 就走代理,返回 nil URL 就直连,返回 error 就终止本次请求。把 URL 级规则接到 Transport 上时,只需要在回调里从 Request 取出 URL,再把 nil、域名和错误边界处理清楚。

先还原请求为什么走错了路径

故障现场通常有三个特征:外部 API 调用正常,内网域名变慢或失败;改环境变量没有立刻生效;开发者开始在 Client.Timeout、重试次数和 DNS 之间来回调整。真正需要先确认的是“这个请求最终选择了哪条路径”。

在 Transport 这一层,代理选择发生在请求已经有目标 URL 之后。也就是说,分流条件应该围绕 req.URL.Hostname()、协议和端口展开,而不是读取一个全局布尔开关。

Transport Proxy 根据请求目标在代理和直连之间分流的静态结构图
图1:Transport.Proxy 以请求目标为输入,在返回代理 URL、返回 nil 直连和返回错误三种结果之间分流;这是静态说明图,不是运行截图。

排查时可以按这个顺序记录三项信息:

观察项要确认的内容对应判断
请求目标scheme、hostname、port是否命中内网或直连例外
选择结果代理、直连或错误分流函数返回了什么
配置来源固定 URL、环境变量或业务规则修改位置是否真的被当前 Transport 使用

两个 ProxyFunc 为什么不能直接赋值

Transport.Proxy 的回调签名是:

func(*http.Request) (*url.URL, error)

而 httpproxy.Config.ProxyFunc() 生成的回调更接近:

func(*url.URL) (*url.URL, error)

前者能看到请求对象,后者只关心 URL。它们的共同点是返回值:代理 URL 表示使用代理,nil URL 表示直连,error 表示本次选择失败。差异在输入参数,适配时必须显式取出 req.URL。

Transport.Proxy 的 Request 回调与 httpproxy.ProxyFunc 的 URL 回调适配关系图
图2:Request 级回调和 URL 级回调的参数适配关系;图中只表达接口边界,不代表真实 IDE 或命令行输出。

如果只需要固定一个代理,可以使用标准库的 http.ProxyURL;如果要复用 HTTP_PROXY、HTTPS_PROXY 和 NO_PROXY,可以直接调用 http.ProxyFromEnvironment,或者使用 httpproxy.Config.ProxyFunc 做更细的 URL 级规则。

修复:内网直连,其余请求沿用环境代理

下面的写法把“业务直连例外”放在最外层,其他请求交给标准库的环境变量逻辑。示例地址都是虚构值,重点是回调的输入输出和错误传播。

package main

import (
	"net/http"
	"net/url"
	"strings"
)

func proxyForRequest(req *http.Request) (*url.URL, error) {
	// 没有请求或 URL 时不能判断目标,按直连处理,避免回调解引用 nil。
	if req == nil || req.URL == nil {
		return nil, nil
	}

	host := strings.ToLower(req.URL.Hostname())
	// 内网域名和本机地址走直连,避免把内部服务送入外部代理。
	if host == "localhost" || host == "127.0.0.1" || strings.HasSuffix(host, ".corp.example") {
		return nil, nil
	}

	// 外部请求沿用 HTTP_PROXY、HTTPS_PROXY 和 NO_PROXY 的标准规则。
	return http.ProxyFromEnvironment(req)
}

func newClient() *http.Client {
	// Transport 持有连接池,创建后应复用,不要为每个请求重新创建。
	transport := &http.Transport{Proxy: proxyForRequest}
	return &http.Client{Transport: transport}
}

如果把回调签名单独抽出来复用,net/url 也要保留,因为返回值是 *url.URL:

import "net/url"

// 只展示函数签名需要的类型导入,实际代码与上一个片段合并。
var _ func(*http.Request) (*url.URL, error) = proxyForRequest

这里有两个容易忽略的点。第一,http.ProxyFromEnvironment 会再次按照环境变量判断,因此外部请求并不等于“无条件走代理”,NO_PROXY 仍然可能让它直连。第二,Transport 应该复用;频繁创建会让连接池和代理选择问题混在一起。

如果规则来自 httpproxy.ProxyFunc,怎样正确接入

当需要先读取环境配置、再得到一个 URL 级代理函数时,可以把 httpproxy.Config.ProxyFunc 包在 Transport.Proxy 外面。这个场景最容易出现“函数看起来类型相近但编译不过”的误解。

package proxyroute

import (
	"fmt"
	"net/http"
	"net/url"

	"golang.org/x/net/http/httpproxy"
)

func NewTransport() (*http.Transport, error) {
	// 从当前进程环境读取 HTTP_PROXY、HTTPS_PROXY 和 NO_PROXY。
	config := httpproxy.FromEnvironment()
	proxyFunc := config.ProxyFunc()

	transport := &http.Transport{}
	transport.Proxy = func(req *http.Request) (*url.URL, error) {
		// Transport 传入的是 Request,httpproxy 只需要其中的 URL。
		if req == nil || req.URL == nil {
			return nil, fmt.Errorf("proxy selection requires request URL")
		}
		// 将 Request 级回调适配为 URL 级回调,并保留原始错误。
		return proxyFunc(req.URL)
	}
	return transport, nil
}

这个版本对 nil URL 返回错误,而不是静默直连,适合把调用方错误尽早暴露出来。两种策略都合理,但要统一团队约定:安全关键的网络请求通常更适合“无法判断就报错”,可选的后台探测则可能更适合“无 URL 就直连或跳过”。

四个边界决定故障会不会复发

域名判断要用 Hostname

req.URL.Host 可能包含端口,直接用字符串比较会让 api.corp.example:8443 漏掉规则。使用 Hostname() 后再统一转小写,才能稳定处理大小写和端口。

子域名规则不要误伤相似后缀

strings.HasSuffix(host, "corp.example") 会把 notcorp.example 也当成命中。更稳妥的条件是精确匹配根域,或匹配 ".corp.example" 这种带点的子域后缀。

代理 URL 解析错误不能偷偷变成直连

如果固定代理来自配置文件,应该在创建 Transport 前解析并返回错误;不要在回调里遇到解析失败就返回 nil。否则故障看起来像“请求成功但绕过了代理”,排查成本更高。

日志记录选择,不记录凭据

建议记录目标主机、命中的规则名、proxy 或 direct 结果和错误类型。不要把完整代理 URL 写入日志,尤其是 URL 中可能携带用户名和密码时。

用小测试锁住代理、直连和错误三条路径

不需要访问真实网络,也能测试选择函数的边界。测试只检查返回的代理 URL 和错误,不把代理凭据放进断言。

func TestProxyForRequest(t *testing.T) {
	// 用虚构代理地址覆盖外部请求分支,测试不发起真实网络连接。
	proxy, _ := url.Parse("http://proxy.example:8080")
	choose := func(req *http.Request) (*url.URL, error) {
		// 内网目标直连,其他目标使用预先解析的代理。
		if req.URL.Hostname() == "service.corp.example" {
			return nil, nil
		}
		return proxy, nil
	}

	cases := []struct {
		name  string
		target string
		want  string
	}{
		{"内网直连", "https://service.corp.example/api", ""},
		{"外部代理", "https://api.example.com/v1", "http://proxy.example:8080"},
	}
	for _, tc := range cases {
		t.Run(tc.name, func(t *testing.T) {
			// 解析目标 URL,避免把字符串比较误当成路由测试。
			u, err := url.Parse(tc.target)
			if err != nil {
				t.Fatal(err)
			}
			req := &http.Request{URL: u}
			got, err := choose(req)
			if err != nil {
				t.Fatal(err)
			}
			if got == nil && tc.want != "" {
				t.Fatalf("want proxy %q, got direct", tc.want)
			}
			if got != nil && got.String() != tc.want {
				t.Fatalf("want %q, got %q", tc.want, got.String())
			}
		})
	}
}

测试重点不是验证某个代理服务器能否连通,而是确认“目标地址到选择结果”的映射不会被后续改动破坏。若规则数量继续增加,可以把域名分流抽成独立纯函数,再给每条规则命名。

把修复固定成一条清晰的约定

这次问题的根因,是把环境代理、业务直连例外和回调签名混在了一处。修复后可以留下三条团队约定:

  1. http.Transport 只接收 func(*http.Request) (*url.URL, error) 形状的代理回调。
  2. 按 URL 做判断时,明确区分“返回代理 URL”“返回 nil 直连”和“返回 error 中止”。
  3. 日志只记录目标和分支,单元测试覆盖内网、外部和错误输入,真实代理连通性放到独立集成环境验证。

常见追问

Transport.Proxy 返回 nil 是关闭代理吗?

对当前请求来说是直连,不会使用代理。它不是把环境变量清空,也不会改变其他请求的选择。

为什么不直接给 Transport.Proxy 赋 httpproxy.Config.ProxyFunc?

因为两者参数不同:前者接收 *http.Request,后者接收 *url.URL。需要在 Transport 回调中先检查请求,再传入 req.URL。

能不能每次回调都重新解析代理 URL?

不建议。固定代理应在创建 Transport 时解析一次;回调阶段只做选择,避免把配置错误和请求延迟混在一起。

把代理选择看成一个纯粹的“请求目标到路由结果”映射,问题就会从难以复现的网络故障,变成可以阅读、测试和维护的函数规则。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>