MySQL数据同步Elasticsearch的技术方案选型-创新互联
文章目录
分享文章:MySQL数据同步Elasticsearch的技术方案选型-创新互联
网站URL:http://ybzwz.com/article/coccss.html
- 1.同步双写
- 2.异步双写
- 3.定时任务
- 4.数据订阅
- 优点:实现简单
- 缺点:
业务耦合,商品的管理中耦合大量数据同步代码
影响性能,写入两个存储,响应时间变长
不便扩展:搜索可能有一些个性化需求,需要对数据进行聚合,这种方式不便实现
上架商品的时候, 先把商品数据丢入MQ, 为了解耦, 拆分一个搜索微服务, 搜搜微服务去订阅商品变动的信息, 完成同步
一些数据需要聚合处理成类似宽表的结构怎么办呢?例如商品库的商品品类、spu、sku表是分开的,但是查询是跨维度的,在ES里再聚合一次效率就低一些,最好就是把商品的数据给聚合起来,在ES里以类似大宽表的形式存储,这样一来查询效率就高一些。
- 优点:
解耦合,商品服务无需关注数据同步
实时性较好,使用MQ,正常情况下,同步完成在秒级 - 缺点:
引入了新的组件和服务,增加了复杂度
定时任务, 频率不好选择, 频率高的话, 会引起业务的波峰, 使得Cpu, 内存的上升, 频率低的话, 时效性比较差
- 优点:实现比较简单
- 缺点:
实时性难以保证
对存储压力较大
MySQL通过binlog订阅实现主从同步,各路数据订阅框架比如canal就依据这个原理,将client组件伪装成从库,来实现数据订阅。
cancal通过cancal-adpter, 支持多种适配器, 包括ES适配器, 通过配置, 启动之后, 就把Mysql的数据同步到Es上了
但是cancal还必须回查, 这个时候需要自己实现cancal-client, 监听和聚合数据, 写入Es
相比于异步双写, 可以降低商品的耦合性, 时效性更好
- 优点:
业务入侵较少
实时性较好
你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧
分享文章:MySQL数据同步Elasticsearch的技术方案选型-创新互联
网站URL:http://ybzwz.com/article/coccss.html