通过canal做rds实时同步数据到hbase遇到的坑
最近在做大数据项目的数据抽取，主要涉及oracle 阿里云rds monogo的生产数据全量抽取并做实时同步数据，选型为oracle 和rds 全量数据先通过datax抽取到hbase 然后oracle通过OGG做实时同步到hbase，rds 通过canal做实时同步到hbase。这里先记录一下rds抽取中遇到的坑。1、在rds通过datax全量抽取到hbase的时候出现了数据缺失的情况，...
大数据技术
2019-09-23 AM
数据迁移（一）canal server读取binlog到kafka 然后在使用canal-adapter 消费架构
现在遇到一个整体项目：源端数据：MySQL rds， oracle 目的端 两个不同的oracle 这种多订阅多消费端的架构，在这里我想到了用使用消息队列kafka。首先考虑的是MySQL rds的问题，找了很多解决方案，最终决定使用canal来做。整体架构是这样：mysql----->canal-server------>kafka----多个自定义消费端这里对接oracle目...
基础运维
2019-04-24 PM
canal 从阿里云rds抽取数据到oracle
cannal整体分为订阅端和消费端即 canal-deployer 、 canal-adapter首先是使用cannal-deployer订阅rds的二进制日志，然后配置canal-adapter 来消费日志1、配置canal-deployer订阅rds首先下载canal-deployer 到系统/canal目录mkdir /canal cd canal wget https://githu...
基础运维
2019-04-16 PM