位置：郑州达内IT教育培训机构 > 学校动态 > 数据异构武器-BINLOG+MQ

数据异构武器-BINLOG+MQ

来源：郑州达内IT教育培训机构时间：2021/9/27 15:14:23

　　数据异构武器-BINLOG+MQ
　　接下来的文章里，给大家介绍一下数据异构武器-BINLOG+MQ相关的知识点，一起来看看吧！
　　一是定义。
　　数据异构是什么？如果需要下一个定义，即将数据按需(数据结构、访问方式、访问形式)异地构建存储。
　　二是常见的应用场景。
　　分库表中有较常见的场景。为了提高数据库的查询能力，我们将对数据库进行分库表操作。此时，通过数据异构可以很好地解决这个问题，例如下图：
　　综上所述，大概有以下场景：
　　·资料库镜像
　　·实时备份数据库。
　　·多级索引。
　　·searchbuild(例如分库分表后的多维数据查询)
　　·业务cache更新。

　　·价格、库存变化等重要业务信息。

数据异构武器-BINLOG+MQ

　　三是数据异构方向。
　　每天的业务开发大致可以分为以上几种数据去向，DB-DB这种方式，一般在分库分表之后，聚合查询时，比如我们按照订单ID去分库分表，那么此时我们要按照用户ID去查询，查询用户下面的订单很不方便，当然可以统一添加到内存中，但是这样不太好。因此，我们可以采用数据库异构的方式，重新按照用户ID的维度来划分一个表格，就像上面常见的应用场景中介绍的那样。将数据异构化为redis,elasticserach,slor等抗量银弹。
　　四是数据异构的常用方法。
　　1.完全克隆
　　这很简单，就是把数据库A，全部复制到数据库B，这样的使用场景在离线统计跑任务脚本时就可以了。缺点也很突出，不适合持续增长的数据。
　　2.标记同步。
　　这是业务场景相对简单的时候。理想情况下，数据不会改变，比如日志数据，此时可以标记，比如时间戳，这样当出现故障时，可以追溯到上一个同步点，开始重新同步数据。
　　3.BINLOG模式。
　　通过实时订阅mysql的binlog日志，消费这些日志后，重建数据结构，插入新的数据库或其他存储，如es、slor等。订阅binlog日志可以更好地增加数据的一致性。
　　4.MQ模式。
　　商业数据写入DB的同时，还发送MQ一份，即商业内部实现双写。这样做比较简单，但是也很难增加数据的一致性，这样就可以在简单的商业场景中使用。

领取试听课

每天限量名额，先到先得

尊重原创文章，转载请注明出处与链接：http://www.peixun360.com/3849/news/416238/违者必究！以上就是郑州达内IT教育培训机构小编为您整理 数据异构武器-BINLOG+MQ的全部内容。