logstash mysql 准实时同步到 elasticsearch

来到golang学习网的大家，相信都是编程学习爱好者，希望在这里学习数据库相关编程知识。下面本篇文章就来带大家聊聊《logstash mysql 准实时同步到 elasticsearch》，介绍一下MySQL、Elasticsearch、数据同步、logstash，希望对大家的知识积累有所帮助，助力实战开发！

mysql 作为成熟稳定的数据持久化解决方案，广泛地应用在各种领域，但是在数据分析方面稍有不足，而 elasticsearch 作为数据分析领域的佼佼者，刚好可以弥补这项不足，而我们要做的只需要将 mysql 中的数据同步到 elasticsearch 中即可，而 logstash 刚好就可以支持，所有你需要做的只是写一个配置文件而已

logstash 获取

获取 logstash

input {
  jdbc {
    jdbc_driver_library => "../mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://<mysql_host>:3306/rta"
    jdbc_user => "<username>"
    jdbc_password => "<password>"
    schedule => "* * * * *"
    statement => "SELECT * FROM table WHERE update_time >= :sql_last_value"
    use_column_value => true
    tracking_column_type => "timestamp"
    tracking_column => "update_time"
    last_run_metadata_path => "syncpoint_table"
  }
}</password></username></mysql_host>

• output {
    elasticsearch {
      hosts => ["172.31.22.165", "172.31.17.241", "172.31.30.84", "172.31.18.178"]
      user => "<user>"
      password => "<password>"
      index => "table"
      document_id => "%{id}"
    }
  }</password></user>

  • filter {
      date {
        match => [ "timeslice", "yyyyMMddHHmm" ]
        timezone => "Asia/Shanghai"
      }
    }

    把这一段配置加到

    sync_table.cfg

    中，现在

    @timestamp

    和

    timeslice

    一致了

    参考链接

    • logstash-input-jdbc 插件: https://www.elastic.co/guide/...
    • logstash-output-elasticsearch 插件: https://www.elastic.co/guide/...
    • logstash-multiple-piplines: https://www.elastic.co/blog/l...
    • logstash-filter-date 插件: https://www.elastic.co/guide/...

    转载请注明出处
    本文链接：http://www.hatlonely.com/2018...

    理论要掌握，实操不能落！以上关于《logstash mysql 准实时同步到 elasticsearch》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！