最近在做大数据项目的数据抽取,主要涉及oracle 阿里云rds monogo的生产数据全量抽取并做实时同步数据,选型为oracle 和rds 全量数据先通过datax抽取到hbase 然后oracle通过OGG做实时同步到hbase,rds 通过canal做实时同步到hbase。这里先记录一下rds抽取中遇到的坑。1、在rds通过datax全量抽取到hbase的时候出现了数据缺失的情况,...
现在遇到一个整体项目:源端数据:MySQL rds, oracle 目的端 两个不同的oracle 这种多订阅多消费端的架构,在这里我想到了用使用消息队列kafka。首先考虑的是MySQL rds的问题,找了很多解决方案,最终决定使用canal来做。整体架构是这样:mysql----->canal-server------>kafka----多个自定义消费端这里对接oracle目...
cannal整体分为订阅端和消费端即 canal-deployer 、 canal-adapter首先是使用cannal-deployer订阅rds的二进制日志,然后配置canal-adapter 来消费日志1、配置canal-deployer订阅rds首先下载canal-deployer 到系统/canal目录mkdir /canal cd canal wget https://githu...