微软发布RenderFormer，Transformer渲染新突破

本篇文章向大家介绍《微软发布 RenderFormer，Transformer 神经渲染新突破》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。

微软研究院近期推出了RenderFormer，这是一种全新的纯机器学习神经网络架构，致力于用AI模型彻底取代传统图形渲染中的计算流程，实现无需依赖光栅化或光线追踪技术的全功能3D渲染。

RenderFormer的核心结构包含以下关键设计：

• 双分支Transformer架构：系统分为两个阶段——视角无关（View-Independent）与视角相关（View-Dependent）。前者利用自注意力机制提取如阴影、漫反射等不随观察角度变化的全局光照特征；后者则通过交叉注意力机制处理可见性、镜面反射等依赖视角的视觉效果。
• 基于3D几何的相对位置编码：引入改进版旋转位置编码（RoPE），直接依据三角形在三维空间中的实际坐标进行编码，而非依赖序列顺序，从而确保模型对场景平移具有不变性。

据项目介绍，RenderFormer是首个成功验证神经网络可完整学习传统图形渲染管线的模型。它能够处理任意复杂度的3D场景，并模拟多种全局光照现象。该模型以“三角形令牌”（triangle tokens）表示场景几何结构，包含位置、法线和材质信息，同时结合“光线束令牌”（ray bundle tokens）来建模观测视角，最终实现端到端的图像生成。此项研究已被SIGGRAPH 2025录用，并已公开代码与模型。

https://microsoft.github.io/renderformer

终于介绍完啦！小伙伴们，这篇关于《微软发布RenderFormer，Transformer渲染新突破》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！