详解如何让Go语言中的反射加快
来源:脚本之家
时间:2023-02-24 20:52:19 246浏览 收藏
怎么入门Golang编程?需要学习哪些知识点?这是新手们刚接触编程时常见的问题;下面golang学习网就来给大家整理分享一些知识点,希望能够给初学者一些帮助。本篇文章就来介绍《详解如何让Go语言中的反射加快》,涉及到反射,有需要的可以收藏一下
最近读到一篇关于 Go 反射的文章,作者通过反射给结构体填充字段值的案例,充分利用 Go 的各种内在机理,逐步探讨让代码运行得更快的姿势。
文章(原文地址:https://philpearl.github.io/post/aintnecessarilyslow/)非常有学习价值,故翻译整理了下来。
不要使用反射,除非你真的需要。但是当你不使用反射时,不要认为这是因为反射很慢,它也可以很快。
反射允许你在运行时获得有关 Go 类型的信息。如果你曾经愚蠢地尝试编写 json.Unmarshal 之类的新版本,本文将探讨的就是如何使用反射来填充结构体值。
切入点案例
我们以一个简单的案例为切入点,定义一个结构体 SimpleStruct,它包括两个 int 类型字段 A 和 B。
type SimpleStruct struct { A int B int }
假如我们接收到了 JSON 数据 {"B": 42},想要对其进行解析并且将字段 B 设置为 42。
在下文,我们将编写一些函数来实现这一点,它们都会将 B 设置为 42。
如果我们的代码只适用于 SimpleStruct,这完全是不值一提的。
func populateStruct(in *SimpleStruct) { in.B = 42 }
反射基本版
但是,如果我们是要做一个 JSON 解析器,这意味着我们并不能提前知道结构类型。我们的解析器代码需要接收任何类型的数据。
在 Go 中,这通常意味着需要采用 interface{} (空接口)参数。然后我们可以使用 reflect 包检查通过空接口参数传入的值,检查它是否是指向结构体的指针,找到字段 B 并用我们的值填充它。
代码将如下所示。
func populateStructReflect(in interface{}) error { val := reflect.ValueOf(in) if val.Type().Kind() != reflect.Ptr { return fmt.Errorf("you must pass in a pointer") } elmv := val.Elem() if elmv.Type().Kind() != reflect.Struct { return fmt.Errorf("you must pass in a pointer to a struct") } fval := elmv.FieldByName("B") fval.SetInt(42) return nil }
让我们通过基准测试看看它有多快。
func BenchmarkPopulateReflect(b *testing.B) { b.ReportAllocs() var m SimpleStruct for i := 0; i结果如下。
BenchmarkPopulateReflect-16 15941916 68.3 ns/op 8 B/op 1 allocs/op
这是好还是坏?好吧,内存分配可从来不是好事。你可能想知道为什么需要在堆上分配内存来将结构体字段设置为 42(可以看这个 issue:https://github.com/golang/go/issues/2320)。但总体而言,68ns 的时间并不长。在通过网络发出任何类型的请求时间中,你可以容纳很多 68ns。
优化一:加入缓存策略
我们能做得更好吗?好吧,通常我们运行的程序不会只做一件事然后停止。他们通常一遍又一遍地做着非常相似的事情。因此,我们可以设置一些东西以使重复的事情速度变快吗?
如果仔细查看我们正在执行的反射检查,我们会发现它们都取决于传入值的类型。如果我们将类型结果缓存起来,那么对于每种类型而言,我们只会进行一次检查。
我们再来考虑内存分配的问题。之前我们调用 Value.FieldByName 方法,实际是 Value.FieldByName 调用 Type.FieldByName,其调用 structType.FieldByName,最后调用 structType.Field 来引起内存分配的。我们可以在类型上调用 FieldByName 并缓存一些东西来获取 B 字段的值吗?实际上,如果我们缓存 Field.Index,就可以使用它来获取字段值而无需分配。
新代码版本如下
var cache = make(map[reflect.Type][]int) func populateStructReflectCache(in interface{}) error { typ := reflect.TypeOf(in) index, ok := cache[typ] if !ok { if typ.Kind() != reflect.Ptr { return fmt.Errorf("you must pass in a pointer") } if typ.Elem().Kind() != reflect.Struct { return fmt.Errorf("you must pass in a pointer to a struct") } f, ok := typ.Elem().FieldByName("B") if !ok { return fmt.Errorf("struct does not have field B") } index = f.Index cache[typ] = index } val := reflect.ValueOf(in) elmv := val.Elem() fval := elmv.FieldByIndex(index) fval.SetInt(42) return nil }因为没有任何内存分配,新的基准测试变得更快。
BenchmarkPopulateReflectCache-16 35881779 30.9 ns/op 0 B/op 0 allocs/op
优化二:利用字段偏移量
我们能做得更好吗?好吧,如果我们知道结构体字段 B 的偏移量并且知道它是 int 类型,就可以将其直接写入内存。我们可以从接口中恢复指向结构体的指针,因为空接口实际上是具有两个指针的结构的语法糖:第一个指向有关类型的信息,第二个指向值。
type eface struct { _type *_type data unsafe.Pointer }我们可以使用结构体中字段偏移量来直接寻址该值的字段 B。
新代码如下。
var unsafeCache = make(map[reflect.Type]uintptr) type intface struct { typ unsafe.Pointer value unsafe.Pointer } func populateStructUnsafe(in interface{}) error { typ := reflect.TypeOf(in) offset, ok := unsafeCache[typ] if !ok { if typ.Kind() != reflect.Ptr { return fmt.Errorf("you must pass in a pointer") } if typ.Elem().Kind() != reflect.Struct { return fmt.Errorf("you must pass in a pointer to a struct") } f, ok := typ.Elem().FieldByName("B") if !ok { return fmt.Errorf("struct does not have field B") } if f.Type.Kind() != reflect.Int { return fmt.Errorf("field B should be an int") } offset = f.Offset unsafeCache[typ] = offset } structPtr := (*intface)(unsafe.Pointer(&in)).value *(*int)(unsafe.Pointer(uintptr(structPtr) + offset)) = 42 return nil }新的基准测试表明这将更快。
BenchmarkPopulateUnsafe-16 62726018 19.5 ns/op 0 B/op 0 allocs/op
优化三:更改缓存 key 类型
还能让它走得更快吗?如果我们对 CPU 进行采样,将会看到大部分时间都用于访问 map,它还会显示 map 访问在调用 runtime.interhash 和 runtime.interequal。这些是用于 hash 接口并检查它们是否相等的函数。也许使用更简单的 key 会加快速度?我们可以使用来自接口的类型信息的地址,而不是 reflect.Type 本身。
var unsafeCache2 = make(map[uintptr]uintptr) func populateStructUnsafe2(in interface{}) error { inf := (*intface)(unsafe.Pointer(&in)) offset, ok := unsafeCache2[uintptr(inf.typ)] if !ok { typ := reflect.TypeOf(in) if typ.Kind() != reflect.Ptr { return fmt.Errorf("you must pass in a pointer") } if typ.Elem().Kind() != reflect.Struct { return fmt.Errorf("you must pass in a pointer to a struct") } f, ok := typ.Elem().FieldByName("B") if !ok { return fmt.Errorf("struct does not have field B") } if f.Type.Kind() != reflect.Int { return fmt.Errorf("field B should be an int") } offset = f.Offset unsafeCache2[uintptr(inf.typ)] = offset } *(*int)(unsafe.Pointer(uintptr(inf.value) + offset)) = 42 return nil }这是新版本的基准测试结果,它又快了很多。
BenchmarkPopulateUnsafe2-16 230836136 5.16 ns/op 0 B/op 0 allocs/op
优化四:引入描述符
还能更快吗?通常如果我们要将数据 unmarshaling 到结构体中,它总是相同的结构。因此,我们可以将功能一分为二,其中一个函数用于检查结构是否符合要求并返回一个描述符,另外一个函数则可以在之后的填充调用中使用该描述符。
以下是我们的新代码版本。调用者应该在初始化时调用describeType函数以获得一个typeDescriptor,之后调用populateStructUnsafe3函数时会用到它。在这个非常简单的例子中,typeDescriptor只是结构体中B字段的偏移量。
type typeDescriptor uintptr func describeType(in interface{}) (typeDescriptor, error) { typ := reflect.TypeOf(in) if typ.Kind() != reflect.Ptr { return 0, fmt.Errorf("you must pass in a pointer") } if typ.Elem().Kind() != reflect.Struct { return 0, fmt.Errorf("you must pass in a pointer to a struct") } f, ok := typ.Elem().FieldByName("B") if !ok { return 0, fmt.Errorf("struct does not have field B") } if f.Type.Kind() != reflect.Int { return 0, fmt.Errorf("field B should be an int") } return typeDescriptor(f.Offset), nil } func populateStructUnsafe3(in interface{}, ti typeDescriptor) error { structPtr := (*intface)(unsafe.Pointer(&in)).value *(*int)(unsafe.Pointer(uintptr(structPtr) + uintptr(ti))) = 42 return nil }以下是如何使用describeType调用的新基准测试。
func BenchmarkPopulateUnsafe3(b *testing.B) { b.ReportAllocs() var m SimpleStruct descriptor, err := describeType((*SimpleStruct)(nil)) if err != nil { b.Fatal(err) } for i := 0; i现在基准测试结果变得相当快。
BenchmarkPopulateUnsafe3-16 1000000000 0.359 ns/op 0 B/op 0 allocs/op
这有多棒?如果我们以文章开头原始的 populateStruct 函数编写基准测试,可以看到在不使用反射的情况下,填充这个结构体的速度有多快。
BenchmarkPopulate-16 1000000000 0.234 ns/op 0 B/op 0 allocs/op
不出所料,这甚至比我们最好的基于反射的版本还要快一点,但它也没有快太多。
总结
反射并不一定很慢,但是你必须付出相当大的努力,通过运用 Go 内部机理知识,在你的代码中随意撒上不安全的味道 ,以使其真正加速。
今天关于《详解如何让Go语言中的反射加快》的内容就介绍到这里了,是不是学起来一目了然!想要了解更多关于golang的内容请关注golang学习网公众号!
-
174 收藏
-
246 收藏
-
126 收藏
-
395 收藏
-
112 收藏
-
233 收藏
-
322 收藏
-
181 收藏
-
316 收藏
-
244 收藏
-
300 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 507次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习