登录
首页 >  Golang >  Go问答

Azure DevOps 速率限制

来源:stackoverflow

时间:2024-04-30 13:21:34 357浏览 收藏

怎么入门Golang编程?需要学习哪些知识点?这是新手们刚接触编程时常见的问题;下面golang学习网就来给大家整理分享一些知识点,希望能够给初学者一些帮助。本篇文章就来介绍《Azure DevOps 速率限制》,涉及到,有需要的可以收藏一下

问题内容

目标是在 go 中检索 azure devops 用户及其许可证和项目权利。

我正在使用 microsoft sdk。

我们的 azure devops 组织拥有超过 1500 名用户。因此,当我请求每个用户权利时,由于 azure devops 速率限制 => 443:读取:连接由对等方重置,我收到一条错误消息

但是,当然,将 top 限制为 100/200 就可以了。

对于真正的解决方案,我虽然不再使用 sdk,而是使用直接 rest api 调用和支持速率限制的自定义 http 处理程序。或者也许使用heimdall。

您对优秀设计人员的建议是什么?

谢谢。

这是代码:

package main

import (
    "context"
    "fmt"
    "github.com/microsoft/azure-devops-go-api/azuredevops"
    "github.com/microsoft/azure-devops-go-api/azuredevops/memberentitlementmanagement"
    "log"
    "runtime"
    "sync"
    "time"
)

var organizationUrl = "https://dev.azure.com/xxx"
var personalAccessToken = "xxx"

type User struct {
    DisplayName         string
    MailAddress         string
    PrincipalName       string
    LicenseDisplayName  string
    Status              string
    GroupAssignments    string
    ProjectEntitlements []string
    LastAccessedDate    azuredevops.Time
    DateCreated         azuredevops.Time
}

func init() {
    runtime.GOMAXPROCS(runtime.NumCPU()) // Try to use all available CPUs.
}

func main() {
    // Time measure
    defer timeTrack(time.Now(), "Fetching Azure DevOps Users License and Projects")

    // Compute context
    fmt.Println("Version", runtime.Version())
    fmt.Println("NumCPU", runtime.NumCPU())
    fmt.Println("GOMAXPROCS", runtime.GOMAXPROCS(0))
    fmt.Println("Starting concurrent calls...")

    // Create a connection to your organization
    connection := azuredevops.NewPatConnection(organizationUrl, personalAccessToken)

    // New context
    ctx := context.Background()

    // Create a member client
    memberClient, err := memberentitlementmanagement.NewClient(ctx, connection)
    if err != nil {
        log.Fatal(err)
    }

    // Request all users
    top := 10000
    skip := 0
    filter := "Id"
    response, err := memberClient.GetUserEntitlements(ctx, memberentitlementmanagement.GetUserEntitlementsArgs{
        Top:        &top,
        Skip:       &skip,
        Filter:     &filter,
        SortOption: nil,
    })

    usersLen := len(*response.Members)

    allUsers := make(chan User, usersLen)

    var wg sync.WaitGroup
    wg.Add(usersLen)

    for _, user := range *response.Members {
        go func(user memberentitlementmanagement.UserEntitlement) {
            defer wg.Done()

            var userEntitlement = memberentitlementmanagement.GetUserEntitlementArgs{UserId: user.Id}
            account, err := memberClient.GetUserEntitlement(ctx, userEntitlement)
            if err != nil {
                log.Fatal(err)
            }

            var GroupAssignments string
            var ProjectEntitlements []string

            for _, assignment := range *account.GroupAssignments {
                GroupAssignments = *assignment.Group.DisplayName
            }

            for _, userProject := range *account.ProjectEntitlements {
                ProjectEntitlements = append(ProjectEntitlements, *userProject.ProjectRef.Name)
            }

            allUsers <- User{
                DisplayName:         *account.User.DisplayName,
                MailAddress:         *account.User.MailAddress,
                PrincipalName:       *account.User.PrincipalName,
                LicenseDisplayName:  *account.AccessLevel.LicenseDisplayName,
                DateCreated:         *account.DateCreated,
                LastAccessedDate:    *account.LastAccessedDate,
                GroupAssignments:    GroupAssignments,
                ProjectEntitlements: ProjectEntitlements,
            }
        }(user)
    }

    wg.Wait()
    close(allUsers)
    for eachUser := range allUsers {
        fmt.Println(eachUser)
    }
}

func timeTrack(start time.Time, name string) {
    elapsed := time.Since(start)
    log.Printf("%s took %s", name, elapsed)
}

正确答案


您可以编写自定义版本的 GetUserEntitlement 函数。

https://github.com/microsoft/azure-devops-go-api/blob/dev/azuredevops/memberentitlementmanagement/client.go#L297-L314

它不使用任何私有成员。

获取 http.Response 后,您可以检查 Retry-After 标头并延迟下一个循环的迭代(如果存在)。

https://github.com/microsoft/azure-devops-go-api/blob/dev/azuredevops/memberentitlementmanagement/client.go#L306

附注代码中的并发是多余的,可以删除。

更新 - 解释并发问题:

您无法轻松地在并发代码中实现速率限制。如果您按顺序执行所有请求并在每个响应中检查 Retry-After 标头,然后再转到下一个响应,那么事情会简单得多。

使用并行执行:1) 您不能依赖 Retry-After 标头值,因为您可能同时执行另一个请求返回不同的值。 2) 您不能对其他请求应用延迟,因为其中一些请求已经在进行中。

本篇关于《Azure DevOps 速率限制》的介绍就到此结束啦,但是学无止境,想要了解学习更多关于Golang的相关知识,请关注golang学习网公众号!

声明:本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>