Skip to content

easily, quickly build data synchronization and data backup tools. 可以非常简单的实现数据备份、同步。

License

Notifications You must be signed in to change notification settings

toventang/debezium-client

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

23 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

说明

本项目基于 debezium 1.9 开发的 CDC(变更数据捕获)客户端。 debezium 支持以下数据源:MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、DB2、Cassandra、Vitess。 本项目已内置以下目标数据库:ElasticSearch、Postgresql、MySQL;

使用前阅读

  • 如果你的系统需要备份数据库,或数据库主备复制,那么本项目非常适合。
  • 如果你的系统需要 CQRS 架构,且允许数据最终一致性,那么你可以使用本项目。

如果你不想使用 kafka,可以参看嵌入式适配器

示例

1、安装依赖的 docker 镜像 docker

docker-compose up

2、向 debezium connect 写入配置

# 删除名为 dbserver1-connector 的配置
curl -i -X DELETE -H "Accept:application/json" -H "Content-Type:application/json" http://10.211.55.7:8083/connectors/dbserver1-connector

# 写入配置 register-dbserver1.json
curl -i -X POST -H "Accept:application/json" -H "Content-Type:application/json" http://10.211.55.7:8083/connectors/ -d @example/register-dbserver1.json

3、编译源码,运行 client 的 docker 镜像,参数 OS 表示编译目标平台

make OS=linux build && make image

4、运行 debezium-client 的 docker 容器

docker run --name debeclient --rm debeclient

Prometheus 指标

  1. 消费成功的消息数量
  2. 消费失败的消息数量
  3. 每个消息的处理时间

Debezium

有关订阅的 GroupID、Topic 或更多设置,可以查看官方文档

规划功能

  • 表结构同步
  • 延时处理
  • 批量处理

About

easily, quickly build data synchronization and data backup tools. 可以非常简单的实现数据备份、同步。

Topics

Resources

License

Stars

Watchers

Forks

Packages

No packages published

Languages