登录
首页 >  Golang >  Go问答

多个esutil.BulkIndexer可以共享一个elasticsearch.Client吗?

来源:stackoverflow

时间:2024-04-12 08:12:32 134浏览 收藏

本篇文章给大家分享《多个esutil.BulkIndexer可以共享一个elasticsearch.Client吗?》,覆盖了Golang的常见基础知识,其实一个语言的全部知识点一篇文章是不可能说完的,但希望通过这些问题,让读者对自己的掌握程度有一定的认识(B 数),从而弥补自己的不足,更好的掌握它。

问题内容

我有一组文档可以使用 github.com/elastic/go-elasticsearch/v8 库进行批量索引。

每个文档都可以添加到几个不同的索引之一,因此我的代码类似于:

var indexers map[string]esutil.BulkIndexer = make(map[string]esutil.BulkIndexer)
    
    for i := range documents {
      var bi esutil.BulkIndexer
      var ok bool
      var err error
      if bi, ok = indexers[documents[i].index]; !ok {
         bi, err = esutil.NewBulkIndexer(esutil.BulkIndexerConfig{
            Index:         documents[i].index,   // The index name
            Client:        client,               // The Elasticsearch client* Same isntance for all indexers*
            NumWorkers:    BULK_NUM_WORKERS,     // The number of worker goroutines
            FlushBytes:    int(BULK_FLUSHBYTES), // The flush threshold in bytes
            FlushInterval: 5 * time.Second,      // The periodic flush interval
        })
        if err != nil {
            fmt.Printf("Error creating the indexer: %s", err)
            continue
        }
        indexers[documents[i].indexName] = bi
    }

这个想法是我有一张 esutil.bulkindexer 的地图,它们都共享相同的 elasticsearch.client 实例。所以我的问题是对于几个人来说是否可以并且安全 esutil.bulkindexer 共享相同的 elasticsearch.client,或者它们每个都需要 elasticsearch.client 的单独实例吗?


正确答案


在官方文档中找不到详细信息。但是查看 this link,建议在并行请求的工作线程(go 例程)之间共享客户端

客户端连接是在包初始化时创建的,并且以并行方式发生的后续请求共享同一个客户端。

来自上面的链接

package httpexample
import (
    "github.com/elastic/go-elasticsearch/v7"
)

var client *elasticsearch.Client

func init() {
    var err error

    ... # Client configuration
    client, err = elasticsearch.NewClient(cfg)
    if err != nil {
        log.Fatalf("elasticsearch.NewClient: %v", err)
    }
}
//This method will be called in parallel
func HttpExample(w http.ResponseWriter, r *http.Request) {
    ... # Client usage
}

注意:我是专家,可以提供有关使用多个bulkindexer 的建议。

到这里,我们也就讲完了《多个esutil.BulkIndexer可以共享一个elasticsearch.Client吗?》的内容了。个人认为,基础知识的学习和巩固,是为了更好的将其运用到项目中,欢迎关注golang学习网公众号,带你了解更多关于的知识点!

声明:本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>