用慢思考提升模型安全性,北交大、鹏城实验室提出系统2对齐
时间:2025-01-27 17:10:36 424浏览 收藏
在IT行业这个发展更新速度很快的行业,只有不停止的学习,才不会被行业所淘汰。如果你是科技周边学习者,那么本文《用慢思考提升模型安全性,北交大、鹏城实验室提出系统2对齐》就很适合你!本篇内容主要包括##content_title##,希望对大家的知识积累有所帮助,助力实战开发!
AIxiv专栏:北京交通大学ADaM团队探索系统2对齐,提升大模型安全性
北京交通大学ADaM团队长期关注AI安全领域,此前已开源o1复现项目o1-Coder (https://github.com/ADaM-BJTU/O1-CODER)和强化微调开源技术方案OpenRFT (https://github.com/ADaM-BJTU/OpenRFT)。近期,团队深入研究了OpenAI在“双十二”发布会上公开的o系列模型对齐方法——审慎式对齐(deliberative alignment),并提出了类似的“系统2对齐”概念,探索通过多种技术路径提升模型安全性。 系统2对齐旨在引导模型进行有意的、分析性的推理,以全面评估输入,识别潜在风险和偏差。 这与系统1对齐(直接命令模型遵守规则)形成对比,更类似于“培养”而非“命令”。
- 技术报告:Don't Command, Cultivate: An Exploratory Study of System-2 Alignment
1. o1模型安全能力分析
团队对o1模型在应对复杂越狱攻击(WildJailbreak (https://huggingface.co/datasets/allenai/wildjailbreak) 和 MathPrompt (https://arxiv.org/pdf/2411.17075))上的表现进行了评估。研究发现:o1模型的安全指南有助于提升安全性(图1),但其推理过程偶尔会出现逻辑混乱,安全机制可能被绕过(图2)。此外,o1模型并非总是启动安全推理模式,有时会错误拒绝良性请求(图3)。
图 1:o1 模型复杂越狱攻击的样例 图 2:o1 模型被对抗有害样本攻击成功实例 图 3:o1 模型过度拒绝对抗良性样本实例
2. 系统2对齐方法探索
团队利用提示工程、监督微调(SFT)、直接偏好优化(DPO)和强化学习(RL)等方法探索系统2对齐,并使用WildJailbreak数据集进行评估,该数据集包含对抗有害和对抗良性两种类型的数据。评估指标包括“not_unsafe”和“not_overrefuse”。
方法1:提示工程:实验结果表明,提升模型安全性通常会增加过度拒绝率。Mistral-7B和Qwen-7B模型在少样本CoT提示下表现较好,而Llama3-8B模型在未应用系统2对齐提示时性能最佳。
表 1:基于提示工程的系统 2 对齐实验结果
方法2:监督微调(SFT):团队利用GPT-4o生成带有推理步骤的训练数据,并根据安全规范对数据进行筛选。Llama3-8B模型在该方法下表现突出。
表 2:GPT-4o 蒸馏带有思维链的数据样例 表 3:基于监督微调的系统 2 对齐实验结果
方法3:直接偏好优化(DPO):基于SFT模型合成偏好数据,DPO在安全性指标上有所提升,但过度拒绝率也增加。
表 4:基于直接偏好优化的系统 2 对齐实验结果
方法4&5:强化学习(RL):团队分别尝试了基于结果监督和过程监督的强化学习方法,结果表明基于RL的方法在平衡安全性与过度拒绝率方面表现最佳。
表 5:基于结果监督强化学习的系统 2 对齐实验结果 图 4:SFT-CoT 与 SFT-CoT + RL 处理对抗有害样本对比实例
3. 结论与展望
系统2对齐为提升大模型安全性提供了新的思路,通过多种方法可以有效增强模型的批判性思维能力。未来研究将继续探索更有效的系统2对齐方法,并研究其在其他任务中的应用。
参考文献:[1] Jaech, Aaron, et al. "OpenAI o1 System Card." arXiv preprint arXiv:2412.16720 (2024).[2] Guan, Melody Y., et al. "Deliberative alignment: Reasoning enables safer language models." arXiv preprint arXiv:2412.16339 (2024).[3] Zhang, Yuxiang, et al. "o1-coder: an o1 replication for coding." arXiv preprint arXiv:2412.00154 (2024).[4] Luo, Liangchen, et al. "Improve Mathematical Reasoning in Language Models by Automated Process Supervision." arXiv preprint arXiv:2406.06592 (2024).[5] Wang, Peiyi, et al. "Math-shepherd: Verify and reinforce llms step-by-step without human annotations." Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2024.[6] Zhang, Yuxiang, et al. "OpenRFT: Adapting Reasoning Foundation Model for Domain-specific Tasks with Reinforcement Fine-Tuning." arXiv preprint arXiv:2412.16849 (2024).[7] Vidgen, Bertie, et al. "Introducing v0. 5 of the ai safety benchmark from mlcommons." arXiv preprint arXiv:2404.12241 (2024).
理论要掌握,实操不能落!以上关于《用慢思考提升模型安全性,北交大、鹏城实验室提出系统2对齐》的详细介绍,大家都掌握了吧!如果想要继续提升自己的能力,那么就来关注golang学习网公众号吧!
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
141 收藏
-
381 收藏
-
496 收藏
-
230 收藏
-
198 收藏
-
421 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 507次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习