登录
首页 >  Golang >  Go问答

如何同时处理 Cassandra 的结果

来源:stackoverflow

时间:2024-04-26 10:51:33 283浏览 收藏

IT行业相对于一般传统行业,发展更新速度更快,一旦停止了学习,很快就会被行业所淘汰。所以我们需要踏踏实实的不断学习,精进自己的技术,尤其是初学者。今天golang学习网给大家整理了《如何同时处理 Cassandra 的结果》,聊聊,我们一起来看看吧!

问题内容

我们有来自 Cassandra 的 100 万条记录。为了减少处理时间,我们希望并行处理记录。

因此,工作流程就像将 100 万条记录分成 100 个不相交的集合,每个工作人员处理一组记录。

我们选择的语言是 Golang。

实现该目的的相关框架/实现是什么?


正确答案


我在 ScyllaDB 工作 - Scylla 是一个兼容 Cassandra 的数据库。

我们有以下博文解释如何跨集群高效运行全面扫描

https://www.scylladb.com/2017/02/13/efficient-full-table-scans-with-scylla-1-6/

详细介绍了如何进行高效扫描的理论(如果您想获得最佳性能):

  • 根据 vnode 分配(节点的令牌分配)分割范围
  • 同时运行多个查询
  • 添加一些随机性以确保查询分布在集群中

后续

https://www.scylladb.com/2017/03/28/parallel-efficient-full-table-scan-scylla/

有一个用 Go 编写的代码示例,该示例实现了这一点,并针对 Scylla 进行了测试,并且应该与 Cassandra 一起使用,因为它们与 CQL 二进制协议兼容。

PS:我希望可能还有一个 cassandra 示例。

文中关于的知识介绍,希望对你的学习有所帮助!若是受益匪浅,那就动动鼠标收藏这篇《如何同时处理 Cassandra 的结果》文章吧,也可关注golang学习网公众号了解相关技术文章。

声明:本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>