登录
首页 >  文章 >  前端

在用户的浏览器中本地运行 AI

来源:dev.to

时间:2024-11-09 16:06:57 431浏览 收藏

在文章实战开发的过程中,我们经常会遇到一些这样那样的问题,然后要卡好半天,等问题解决了才发现原来一些细节知识点还是没有掌握好。今天golang学习网就整理分享《在用户的浏览器中本地运行 AI》,聊聊,希望可以帮助到正在努力赚钱的你。

我们都知道人工智能有多么伟大,但是,仍然存在两个主要问题:数据隐私和成本

现在所有使用人工智能的应用程序都连接到云API。这些 API 记录提示和上下文,在某些情况下,它们使用这些数据来训练模型。这意味着您在其中包含的任何敏感数据都可能会暴露。

大多数 Web 应用程序使用以下模式集成 AI 功能:

在用户的浏览器中本地运行 AI

这里的问题是应用服务器需要将用户数据发送到AI API,这是第三方API,我们无法真正知道用户数据会发生什么。

但是,我们为什么不在用户设备而不是云端处理人工智能?我已经对其进行了几周的测试,取得了惊人的结果。我发现了 3 个主要优点:

  1. 用户数据绝不会发送给第三方。它始终保留在用户设备上。
  2. 对于应用开发者来说是免费的,您不需要为用户推理付费,因为它直接发生在用户设备上。
  3. 可扩展性是无限的,因为每个新用户都会带来自己的计算能力。

让我们快速看一下当我们将 AI 计算卸载给用户时,之前的架构如何变化:

在用户的浏览器中本地运行 AI

这是一个非常简单的概念。用户一如既往地使用我们的应用程序,但是当有一些任务需要执行人工智能计算时,我们不使用第三方API,而是将其发送给用户,用户的设备将以最安全的方式执行该计算,本地。

这不仅仅是一个梦想,它已经功能齐全了,我创建了一个名为Offload的平台,让每个人都可以轻松使用这个架构,只需更改几行代码。 SDK 将处理幕后的所有事务,从下载适合用户设备的模型,到帮助您在本地管理提示和评估提示响应,将评估结果发送回给您,而不会暴露用户数据。一切都通过单个函数调用透明地进行。

我正在寻找可能从中受益的网络开发人员,即使它只是为了业余爱好项目,所以,如果你喜欢这种方法ping我!我很乐意帮助您在应用程序中进行设置,您会发现在几分钟内迁移实际上非常简单。

将 Offload 集成到您的应用程序中

文中关于的知识介绍,希望对你的学习有所帮助!若是受益匪浅,那就动动鼠标收藏这篇《在用户的浏览器中本地运行 AI》文章吧,也可关注golang学习网公众号了解相关技术文章。

声明:本文转载于:dev.to 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>