首页 > 科技周边 > 人工智能

Golang调用TextGenWebUIAPI教程

时间：2025-06-26 09:25:18 105浏览收藏

最近发现不少小伙伴都对科技周边很感兴趣，所以今天继续给大家介绍科技周边相关的知识，本文《Golang对接TextGen WebUI API教程》主要内容涉及到等等知识点，希望能帮到你！当然如果阅读本文时存在不同想法，可以在评论中表达，但是请勿使用过激的措辞~

要使用Golang对接TextGen WebUI本地大语言模型并实现API化，需按照以下步骤操作：1. 确保已安装Golang环境并部署好TextGen WebUI；2. 启动TextGen WebUI的API模式（使用--api参数）；3. 在Go代码中构建包含prompt和生成参数的JSON请求体；4. 使用net/http或第三方库发送POST请求至API端点；5. 解析返回的JSON响应并提取生成文本。此外，可通过连接池、并发控制、流式响应等手段优化性能，并通过检查HTTP状态码、设置超时、记录日志等方式增强错误处理能力。

Golang对接TextGen WebUI 本地大语言模型API化教程

Golang对接TextGen WebUI本地大语言模型API化，简单来说，就是用Go语言写代码，让你的程序能调用本地部署的大语言模型，就像使用一个在线API一样方便。

解决方案

环境准备：
- 确保已经安装了Golang环境。
- 已经成功部署了TextGen WebUI，并且模型可以正常运行。 TextGen WebUI官方文档：https://github.com/oobabooga/text-generation-webui
- TextGen WebUI 开启 API 模式 ( --api 参数)，例如：python server.py --api。
安装必要的Go包：
我们需要使用net/http包来发送HTTP请求，以及encoding/json包来处理JSON数据。通常情况下这两个包是Go自带的，不需要额外安装。如果需要更强大的HTTP客户端，可以考虑github.com/go-resty/resty/v2。
构建请求体：
TextGen WebUI的API通常接受JSON格式的请求。你需要构建一个包含你的提示语（prompt）和其他参数的JSON对象。例如：
```
{
  "prompt": "请用三句话介绍Golang。",
  "max_new_tokens": 200,
  "do_sample": true,
  "temperature": 0.7,
  "top_p": 0.9
}
```
这些参数控制了生成文本的行为。max_new_tokens限制了生成文本的最大长度，temperature和top_p影响生成文本的随机性。
发送HTTP请求：
使用net/http包创建一个HTTP客户端，并发送POST请求到TextGen WebUI的API端点（通常是http://127.0.0.1:5000/api/v1/generate）。设置Content-Type为application/json，并将构建好的JSON数据作为请求体发送。

处理响应：

接收到API的响应后，你需要解析JSON数据，提取生成的文本。通常，API会返回一个包含results字段的JSON对象，其中results是一个包含生成文本的数组。

{
  "results": [
    {
      "text": "Golang 是一种由 Google 开发的开源编程语言。它以其简洁的语法、高效的性能和强大的并发支持而闻名。Golang 非常适合构建网络服务、云计算和分布式系统。"
    }
  ]
}

完整代码示例：

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io/ioutil"
    "net/http"
    "log"
)

type RequestBody struct {
    Prompt      string  `json:"prompt"`
    MaxNewTokens int     `json:"max_new_tokens"`
    DoSample     bool    `json:"do_sample"`
    Temperature  float64 `json:"temperature"`
    TopP         float64 `json:"top_p"`
}

type ResponseBody struct {
    Results []struct {
        Text string `json:"text"`
    } `json:"results"`
}

func main() {
    // 构建请求体
    requestBody := RequestBody{
        Prompt:      "请用三句话介绍Golang。",
        MaxNewTokens: 200,
        DoSample:     true,
        Temperature:  0.7,
        TopP:         0.9,
    }
    requestBodyJson, err := json.Marshal(requestBody)
    if err != nil {
        log.Fatalf("JSON 序列化错误: %v", err)
    }

    // 发送HTTP请求
    resp, err := http.Post("http://127.0.0.1:5000/api/v1/generate", "application/json", bytes.NewBuffer(requestBodyJson))
    if err != nil {
        log.Fatalf("HTTP 请求错误: %v", err)
    }
    defer resp.Body.Close()

    // 读取响应
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        log.Fatalf("读取响应错误: %v", err)
    }

    // 解析JSON响应
    var responseBody ResponseBody
    err = json.Unmarshal(body, &responseBody)
    if err != nil {
        log.Fatalf("JSON 反序列化错误: %v", err)
    }

    // 提取生成的文本
    if len(responseBody.Results) > 0 {
        fmt.Println(responseBody.Results[0].Text)
    } else {
        fmt.Println("未生成任何文本。")
    }
}

这个例子展示了如何用Go语言向TextGen WebUI发送请求并获取生成的文本。请注意，你需要根据你的TextGen WebUI的配置调整API端点和请求参数。同时，错误处理部分可以更加完善，例如加入重试机制。

如何优化Golang对接TextGen WebUI的性能？

连接池： net/http包默认会为每个请求创建一个新的TCP连接。在高并发场景下，频繁创建和关闭连接会降低性能。可以使用http.Client的Transport字段配置连接池，例如：
```
client := &http.Client{
    Transport: &http.Transport{
        MaxIdleConns:        100,
        MaxIdleConnsPerHost: 100,
        IdleConnTimeout:     90 * time.Second,
    },
}
```
这样可以复用已经建立的TCP连接，减少连接建立和关闭的开销。
并发请求： 如果需要同时处理多个请求，可以使用goroutine和channel来实现并发。例如，可以创建一个worker pool，将请求分发给worker goroutine处理。
流式响应： TextGen WebUI支持流式响应，可以一边生成文本一边返回，而不是等待所有文本生成完毕才返回。这可以显著降低延迟。需要在请求头中设置"Accept": "text/event-stream"，并使用bufio.NewReader逐行读取响应。注意处理SSE (Server-Sent Events) 格式。
Gzip压缩： 启用Gzip压缩可以减少网络传输的数据量，提高传输速度。可以在请求头中设置"Accept-Encoding": "gzip"，并在服务器端启用Gzip压缩。
缓存： 对于相同的prompt，可以缓存生成的文本，避免重复计算。可以使用内存缓存或Redis等外部缓存。
GPU优化： 确保TextGen WebUI充分利用GPU资源。检查CUDA Toolkit 和 cuDNN 是否正确安装和配置。适当调整 TextGen WebUI 的启动参数，例如 --threads 和 --n_batch。

TextGen WebUI API 接口有哪些常用参数？

prompt (string, required): 要生成文本的提示语。
max_new_tokens (int, optional, default: 250): 生成文本的最大token数。
temperature (float, optional, default: 1.0): 控制生成文本的随机性。值越高，文本越随机。
top_p (float, optional, default: 1.0): 控制生成文本的多样性。值越高，文本越多样。
top_k (int, optional, default: 0): 从概率最高的k个token中选择。如果设置为0，则禁用。
typical_p (float, optional, default: 1.0): Typical sampling参数。
repetition_penalty (float, optional, default: 1.18): 重复惩罚参数。用于防止模型重复生成相同的文本。
repetition_penalty_range (int, optional, default: 0): 重复惩罚的范围。
encoder_repetition_penalty (float, optional, default: 1.0): Encoder重复惩罚参数。
no_repeat_ngram_size (int, optional, default: 0): 禁止重复的ngram的大小。如果设置为0，则禁用。
min_length (int, optional, default: 0): 生成文本的最小长度。
do_sample (bool, optional, default: true): 是否进行采样。如果设置为false，则使用greedy decoding。
seed (int, optional, default: -1): 随机种子。用于控制生成文本的随机性。如果设置为-1，则使用随机种子。
stop (list of strings, optional, default: []): 停止生成的字符串列表。当生成文本包含列表中的任何一个字符串时，生成过程停止。
stream (bool, optional, default: false): 是否启用流式响应。
format (string, optional, default: "text"): 返回格式。可以是 "text" 或 "json"。
model (string, optional): 指定要使用的模型。如果未指定，则使用默认模型。

具体参数和默认值可能会因为TextGen WebUI的版本和使用的模型而有所不同。最好参考TextGen WebUI的官方文档或API文档。

如何处理TextGen WebUI API调用中的错误？

检查HTTP状态码： 首先，检查HTTP响应的状态码。 200表示成功，4xx表示客户端错误，5xx表示服务器错误。例如，400表示请求参数错误，500表示服务器内部错误。
读取错误信息： 如果HTTP状态码不是200，尝试读取响应体中的错误信息。 TextGen WebUI通常会在响应体中返回JSON格式的错误信息。
重试机制： 对于 transient 的错误（例如，网络连接问题），可以实现重试机制。使用指数退避算法可以避免在服务器过载时加剧问题。
日志记录： 记录API调用的详细信息，包括请求参数、响应状态码、响应体和错误信息。这有助于诊断问题。
超时设置： 设置合理的超时时间，避免程序长时间阻塞。可以使用http.Client的Timeout字段设置超时时间。
错误处理函数： 编写专门的错误处理函数，集中处理API调用中的错误。这样可以提高代码的可读性和可维护性。
熔断机制： 在高并发场景下，可以使用熔断机制来防止 cascading failure。当API调用失败率超过一定阈值时，熔断器会打开，阻止新的请求发送到API，直到API恢复正常。可以使用第三方库，例如github.com/sony/gobreaker来实现熔断机制。
监控： 监控API调用的性能指标，例如响应时间、错误率和吞吐量。这可以帮助你及时发现和解决问题。

一个更健壮的错误处理示例：

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io/ioutil"
    "net/http"
    "time"
    "log"
)

// ... (RequestBody 和 ResponseBody 定义)

func callAPI(requestBody RequestBody) (string, error) {
    requestBodyJson, err := json.Marshal(requestBody)
    if err != nil {
        return "", fmt.Errorf("JSON 序列化错误: %w", err)
    }

    client := &http.Client{
        Timeout: 10 * time.Second, // 设置超时时间
    }

    resp, err := client.Post("http://127.0.0.1:5000/api/v1/generate", "application/json", bytes.NewBuffer(requestBodyJson))
    if err != nil {
        return "", fmt.Errorf("HTTP 请求错误: %w", err)
    }
    defer resp.Body.Close()

    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        return "", fmt.Errorf("读取响应错误: %w", err)
    }

    if resp.StatusCode != http.StatusOK {
        return "", fmt.Errorf("API 返回错误状态码: %d, 响应体: %s", resp.StatusCode, string(body))
    }

    var responseBody ResponseBody
    err = json.Unmarshal(body, &responseBody)
    if err != nil {
        return "", fmt.Errorf("JSON 反序列化错误: %w, 响应体: %s", err, string(body))
    }

    if len(responseBody.Results) > 0 {
        return responseBody.Results[0].Text, nil
    } else {
        return "", fmt.Errorf("未生成任何文本")
    }
}

func main() {
    requestBody := RequestBody{
        Prompt:      "请用三句话介绍Golang。",
        MaxNewTokens: 200,
        DoSample:     true,
        Temperature:  0.7,
        TopP:         0.9,
    }

    result, err := callAPI(requestBody)
    if err != nil {
        log.Printf("API 调用失败: %v", err)
        return
    }

    fmt.Println(result)
}

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于科技周边的相关知识，也可关注golang学习网公众号。

golang 大语言模型