传输数据从 Kafka 到 Elasticsearch 的高效方式

为了将数据高效地从 Kafka 传输到 Elasticsearch，本文探讨了多种方法。这些方法包括 Kafka 直接连接到 Elasticsearch、通过 Logstash、Golang、rsyslog 或 Java/C/C++ 等中间件进行传输。文章指出，选择最佳方法取决于硬件和消息大小等因素。其中，Kafka Connect 被推荐为一个高效的解决方案，因为它作为 Apache Kafka 的一部分，并提供一个专门的 Elasticsearch 连接器。

我正在寻找最快日志传送器，它可以直接将我的日志从kafka传输到elasticsearch。 我可以列举一些方法来做到这一点：

1. Kafka -> Elasticsearch
2. Kafka -> Logstash -> Elasticsearch
3. Kafka -> Golang -> Elasticsearch
4. Kafka -> rsyslog -> Elasticsearch
5. Kafka -> java/c/c++ -> Elasticsearch ...

有人可以告诉我哪种方法是完成这项工作最快的方法（相同资源下的最高 EPS）？ 提前致谢！

解决方案

最快有点很难说；有几个不错的选择，这取决于硬件、消息大小等因素。

对于 Kafka 内外的任何集成，我的出发点始终是 Kafka Connect，因为它是 Apache Kafka 本身的一部分。有一个 connector for Elasticsearch，您可以单独下载它以与现有的 Kafka Connect 集群一起使用，或者实际上作为 Confluence Platform 的一部分获取。

免责声明：我在 Confluence 工作。

以上就是《传输数据从 Kafka 到 Elasticsearch 的高效方式》的详细内容，更多关于的资料请关注golang学习网公众号！