MySQL数据同步Elasticsearch的技术方案选型-创新互联

文章目录
      • 1.同步双写
      • 2.异步双写
      • 3.定时任务
      • 4.数据订阅

创新互联建站主要从事成都网站制作、成都做网站、外贸营销网站建设、网页设计、企业做网站、公司建网站等业务。立足成都服务怀柔,10多年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:135182197921.同步双写
  • 优点:实现简单
  • 缺点:
    业务耦合,商品的管理中耦合大量数据同步代码
    影响性能,写入两个存储,响应时间变长
    不便扩展:搜索可能有一些个性化需求,需要对数据进行聚合,这种方式不便实现
2.异步双写

上架商品的时候, 先把商品数据丢入MQ, 为了解耦, 拆分一个搜索微服务, 搜搜微服务去订阅商品变动的信息, 完成同步

在这里插入图片描述

一些数据需要聚合处理成类似宽表的结构怎么办呢?例如商品库的商品品类、spu、sku表是分开的,但是查询是跨维度的,在ES里再聚合一次效率就低一些,最好就是把商品的数据给聚合起来,在ES里以类似大宽表的形式存储,这样一来查询效率就高一些。

在这里插入图片描述

  • 优点:
    解耦合,商品服务无需关注数据同步
    实时性较好,使用MQ,正常情况下,同步完成在秒级
  • 缺点:
    引入了新的组件和服务,增加了复杂度
3.定时任务

在这里插入图片描述

定时任务, 频率不好选择, 频率高的话, 会引起业务的波峰, 使得Cpu, 内存的上升, 频率低的话, 时效性比较差

  • 优点:实现比较简单
  • 缺点:
    实时性难以保证
    对存储压力较大
4.数据订阅

MySQL通过binlog订阅实现主从同步,各路数据订阅框架比如canal就依据这个原理,将client组件伪装成从库,来实现数据订阅。

在这里插入图片描述

cancal通过cancal-adpter, 支持多种适配器, 包括ES适配器, 通过配置, 启动之后, 就把Mysql的数据同步到Es上了

在这里插入图片描述

但是cancal还必须回查, 这个时候需要自己实现cancal-client, 监听和聚合数据, 写入Es

在这里插入图片描述

相比于异步双写, 可以降低商品的耦合性, 时效性更好

  • 优点:
    业务入侵较少
    实时性较好

你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧


分享文章:MySQL数据同步Elasticsearch的技术方案选型-创新互联
网站URL:http://ybzwz.com/article/coccss.html