登录
首页 >  科技周边 >  人工智能

阿里通义发布Qwen3Reranker,开源超强文本重排序模型

时间:2025-06-21 17:39:01 162浏览 收藏

**重磅开源!阿里通义千问发布Qwen3 Reranker文本重排序模型,优化搜索体验**。阿里巴巴通义千问团队近日开源了Qwen3 Reranker,这是一款基于Qwen3模型系列的文本重排序模型。该模型采用单塔交叉编码器结构,支持超过100种语言,能够精准评估文本对之间的关联性,并根据关联性评分对候选文本进行排序。Qwen3 Reranker在MTEB排行榜上表现出色,其强大的文本关联性评价和重新排列功能,使其在语义搜索、文本分类、情绪分析及代码查找等领域具有广泛的应用前景,能够显著提升搜索效率和精确度,为用户带来更优质的搜索体验。

Qwen3 Reranker是什么

Qwen3 Reranker是由阿里巴巴通义千问团队推出的文本重排序模型,隶属于Qwen3模型系列。此模型采用了单塔交叉编码器结构,能够接受文本对作为输入,并输出其相关性评分。Qwen3 Reranker经过多阶段训练流程,利用高质量标注数据以及大量生成的数据对进行训练,支持超过100种语言,包括主流自然语言及多种编程语言。在性能方面,Qwen3 Reranker-8B在MTEB排行榜上的得分为72.94,而Qwen3 Reranker-0.6B的表现也超过了Jina和BGE Rerankers。

Qwen3 Reranker— 阿里通义开源的文本重排序模型Qwen3 Reranker的主要功能

  • 文本关联性评价:Qwen3 Reranker接收用户的查询与候选文档等文本组合作为输入,计算并给出这两者间的关联性分数,分数越高表明两者间的关联性越强。
  • 文本重新排列:依据关联性评分,Qwen3 Reranker可以对候选文本进行排序,把与用户查询最匹配的文本放在首位。
  • 优化搜索结果:在语义搜索环境下,这一功能有助于用户迅速定位到最贴合的信息,增强搜索效率和精确度。
  • 支持多语言:Qwen3 Reranker支持超过一百种语言,涵盖了主要的语言种类以及多种编程语言。

Qwen3 Reranker的工作原理

  • 单一塔式交叉编码器架构:Qwen3 Reranker运用了单一塔式交叉编码器架构,即将查询与候选文档合并后一同送入模型。这种架构允许同时处理文本对,执行深入的交互分析,从而更加精准地评估文本对之间的关联性。
  • 指令感知能力:模型具备根据指令动态设定任务目标的能力,比如“判定法律文件的相关性”,这使得模型可以根据不同的任务和场景灵活调整关联性评估的标准。
  • 输入输出格式:输入形式遵循特定的聊天模板,包含指令、查询和文档。模型输出为关联性评分,通过计算“是”或“否”的概率来决定。
  • 多阶段训练方法:Qwen3 Reranker的训练过程分为多个步骤。在监督微调环节,直接使用高质量标注数据进行训练,以提高训练效率。还会利用合成数据进一步提升模型表现。
  • 高质量数据筛选:在训练数据挑选上,Qwen3 Reranker采用了多种高质量标注数据集,如MS MARCO、NQ、HotpotQA等。通过余弦相似度筛选出优质的合成数据对。
  • 模型融合技术:采用球面线性插值(SLERP)技术对微调阶段保存的不同模型检查点实施参数融合。这样可以更好地保持模型参数的几何属性,提高模型在不同数据分布中的稳定性和普遍适应性。
  • 监督微调损失(SFT Loss):Qwen3 Reranker优化的是监督微调损失函数,通过最大化正确标签(“yes”或“no”)的概率,让模型学会区分相关和无关文档。这种二分类方式简化了重排序任务,基于Qwen3模型的指令跟随能力。

Qwen3 Reranker的项目链接

Qwen3 Reranker的实际应用

  • 语义搜索:在搜索引擎、问答系统等场合下,对搜索结果进行重新排列,确保最相关的资料优先呈现。
  • 文本分类:借助评估文本与类别标签的关联性,辅助完成文本分类任务,提升分类准确性。
  • 情绪分析:在情绪分析领域,对评论或文本与情绪标签的关联性进行排序,辅助判断情绪倾向。
  • 代码查找:在代码库内,对代码片段与用户查询的关联性进行排序,协助开发人员快速找到所需代码。

文中关于的知识介绍,希望对你的学习有所帮助!若是受益匪浅,那就动动鼠标收藏这篇《阿里通义发布Qwen3Reranker,开源超强文本重排序模型》文章吧,也可关注golang学习网公众号了解相关技术文章。

相关阅读
更多>
最新阅读
更多>
课程推荐
更多>