登录
首页 >  数据库 >  MySQL

mysql数据实时同步到Elasticsearch注意事项

来源:SegmentFault

时间:2023-01-13 12:18:40 410浏览 收藏

小伙伴们对数据库编程感兴趣吗?是否正在学习相关知识点?如果是,那么本文《mysql数据实时同步到Elasticsearch注意事项》,就很适合你,本篇文章讲解的知识点主要包括MySQL、go、Elasticsearch。在之后的文章中也会多多分享相关知识点,希望对大家的知识积累有所帮助!

网上有很多推荐mysql数据同步到Elasticsearch的方案,有大哥canal,python的mysqlsmom,还有go的go-mysql-elasticsearch,在我自己项目中用的是go-mysql-elasticsearch,给大家随便讲讲我遇到的一些小问题,先看看官方提到的注意事项。

  • ES的版本

关于ES的版本官方支持为

MySQL supported version 

我的ES当前版本在7.7.0下运行依然运行成功

  • 开启mysql binlog日志,且必须为ROW格式

通常配置文件都是在mysql的my.cnf,不知道在哪的可以用

whereis my.cnf
找到,然后把
binlog_format
配置
 cat /etc/my.cnf|grep binlog_format
修改成ROW,重启!

show variables like '%binlog_format%' 

  • mysqldump没有同步成功数据

执行

./bin/go-mysql-elasticsearch -config=./etc/river.toml

命令开始后首先会执行mysqldump同步数据,如果info提示

[2020/07/08 10:40:23] [info] dump.go:180 skip dump, use last binlog replication pos (mysql-bin.000004, 4) or GTID set 

说明mysqldump同步并没有成功,很有可能是因为./etc/river.toml里的data_dir指定的目录没有删除,这时候去删除这个目录里面的

master.info
,再次运行可以看到已经dump成功,参考这个https://github.com/siddontang/go-mysql-elasticsearch/issues/115

到这里,我们也就讲完了《mysql数据实时同步到Elasticsearch注意事项》的内容了。个人认为,基础知识的学习和巩固,是为了更好的将其运用到项目中,欢迎关注golang学习网公众号,带你了解更多关于mysql的知识点!

声明:本文转载于:SegmentFault 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>
评论列表