当前位置: 代码迷 >> 综合 >> 数据同步的一些想法【持续更新】
  详细解决方案

数据同步的一些想法【持续更新】

热度:43   发布时间:2024-01-17 22:34:31.0

数据同步的一些思考

之前遇到过很多关于主备库同步更新数据的问题,

一开始是delete或者TRUNCATE之后全量插入,但是数据量再大之后,会严重影响效率、加重服务器负担,甚至导致锁表,

看到有人说用:

native的SQL把两步合并成一个SQL,如在MySQL中:

insert into … on duplicate key update …;

对于Oracle,有:

merge into … using … when matched then … when not matched then …

但是这样对于已经存在但是我又不需要的数据应该怎么处理呢?

 数据同步一般分为两种方式:全量和增量。

 

1  全量

全量,这个很好理解。就是每天定时(避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方;

全量的话,可以采用直接全部覆盖(使用“新”数据覆盖“旧”数据);或者走更新逻辑(覆盖前判断下,如果新旧不一致,就更新);

这里面有一个隐藏的问题:如果采用异步写,主数据物理删除了,怎么直接通过全量数据同步?这就需要借助一些中间操作日志文件,或者其他手段,把这些“看不到”的数据记录起来。

2 增量

增量的基础是全量,就是你要使用某种方式先把全量数据拷贝过来,然后再采用增量方式同步更新。

增量的话,就是指抓取某个时刻(更新时间)或者检查点?

  相关解决方案