自适应分类器：通过智能查询路由降低 LLM 成本（已证明可以节省成本）

目前golang学习网上已经有很多关于文章的文章了，自己在初次阅读这些文章中，也见识到了很多学习思路；那么本文《自适应分类器：通过智能查询路由降低 LLM 成本（已证明可以节省成本）》，也希望能帮助到大家，如果阅读完后真的对你学习文章有帮助，欢迎动动手指，评论留言并分享~

大家好！我们很高兴向大家介绍一个新的开源库，它能有效降低LLM部署成本。这个自适应分类器库能够学习如何在不同模型之间路由查询，并根据复杂度进行智能选择，从而在实际应用中不断优化成本。

我们在arena-hard-auto数据集上进行了测试，该数据集包含高成本和低成本模型（成本差异2倍）。测试结果非常令人满意：

• 启用自适应功能后，成本降低了32.4%。
• 总体成功率与基线保持一致（22%）。
• 系统在评估期间自动学习了来自110个新示例的知识。
• 成功将80.4%的查询路由到更经济的模型。

此库非常适合同时运行多个LLama模型（例如Llama-3.1-70B和Llama-3.1-8B）并希望在不影响性能的前提下优化成本的用户。该库易于与任何基于Transformer的模型集成，并具有内置的状态持久性功能。

欢迎访问我们的代码库了解更多实施细节和基准测试结果。如果您尝试使用该库，我们非常期待听到您的使用体验！

代码库 - https://github.com/codelion/adaptive-classifier

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于文章的相关知识，也可关注golang学习网公众号。