阿里Qwen与复旦发布WorldPM偏好建模系列
时间:2025-05-31 18:15:18 117浏览 收藏
阿里巴巴Qwen团队与复旦大学联合发布的WorldPM(World Preference Modeling)是一系列偏好建模模型,旨在通过大规模训练揭示偏好模型的可扩展性。该模型基于1500万条偏好数据进行训练,发现客观领域的偏好模型表现出幂律下降趋势,而主观领域则因多维度特性难以呈现单一扩展趋势。WorldPM提供了72B规模的基础模型及多个微调版本,适用于不同场景,如精确偏好判断、大规模用户反馈和低资源偏好建模,支持基于Hugging Face快速使用,为对话系统和推荐系统等任务提供了强大的偏好建模能力。
WorldPM是什么
WorldPM(World Preference Modeling)是阿里巴巴集团的Qwen团队和复旦大学推出的偏好建模模型系列。基于大规模训练揭示偏好模型的可扩展性。模型基于1500万条偏好数据进行训练,发现偏好模型在客观领域表现出明显的幂律下降趋势,在主观领域则因多维度特性难以呈现单一的扩展趋势。项目提供72B规模的基础模型和多个针对特定数据集微调的版本,WorldPM-72B-HelpSteer2适用于需要精确偏好判断的特定任务,WorldPM-72B-UltraFeedback适合处理大规模用户反馈场景,WorldPM-72B-RLHFLow专为低资源偏好建模设计,适合数据量较少的场景。支持基于Hugging Face快速使用。WorldPM为自然语言处理中的对话系统、推荐系统等任务提供了强大的偏好建模能力,助力相关领域的发展。

WorldPM的主要功能
- 偏好建模:学习人类的偏好模式,形成统一的偏好表示。
- 提升泛化能力:帮助模型在不同数据集上表现更好。
- 作为基础模型:用在偏好微调,提升模型性能。
- 增强鲁棒性:识别处理错误或不完整信息。
WorldPM的技术原理
- 偏好数据收集与处理:WorldPM从公共论坛(如StackExchange、Reddit等)收集用户生成的偏好数据。数据基于用户对不同回答的投票机制自然地形成偏好对。
- 大规模训练与规模定律:WorldPM借鉴语言建模中的规模定律,模型性能随着模型参数规模和训练数据量的增加提升。基于在不同规模的模型(从1.5B到72B参数)上进行训练,WorldPM能探索偏好建模的规模扩展潜力。实验表明,在对抗性和客观性评估任务中,模型性能随着训练数据和模型规模的增加显著提升。
- 偏好建模框架:WorldPM基于二元偏好对的建模框架。对于每一对偏好样本,模型计算每个回答的奖励分数,优化基于Bradley-Terry模型的BT损失函数来学习偏好模式。
- 风格偏好分析与控制:为应对主观偏好评估中的风格偏好问题,引入风格偏好分析和控制机制。基于分离风格特征(如文本长度、Markdown格式等)和内容特征,模型能更准确地评估偏好,减少风格因素对评估结果的干扰。
- 模型扩展与微调:WorldPM能直接用在偏好评估,或作为其他模型的初始化基础,用在进一步的偏好微调。基于在不同规模的人类偏好数据集上进行微调,WorldPM能进一步提升模型的性能,特别是在数据有限的情况下表现出显著的性能提升。
WorldPM的项目地址
- GitHub仓库:http://github.com/QwenLM/WorldPM
- HuggingFace模型库:http://huggingface.co/Qwen/WorldPM-72B
- arXiv技术论文:http://arxiv.org/pdf/2505.10527
WorldPM的应用场景
- 语言生成优化:让AI生成的文本更自然、更符合人类偏好,例如提升聊天机器人的回复质量。
- 个性化推荐:根据用户偏好推荐内容,比如文章、视频或音乐,提高推荐的准确性和满意度。
- 智能客服改进:帮助智能客服更好地理解用户需求,生成更符合用户期望的回复,提升用户体验。
- 内容审核与安全:识别过滤掉错误或有害信息,确保内容的安全性和可靠性。
- 多模态应用:扩展到图像和视频等多模态内容的偏好建模,优化内容生成和审核。
今天带大家了解了的相关知识,希望对你有所帮助;关于科技周边的技术知识我们会一点点深入介绍,欢迎大家关注golang学习网公众号,一起学习编程~
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
342 收藏
-
306 收藏
-
363 收藏
-
388 收藏
-
334 收藏
-
257 收藏
-
117 收藏
-
399 收藏
-
343 收藏
-
486 收藏
-
129 收藏
-
106 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习