最近在做大数据项目的数据抽取,主要涉及oracle 阿里云rds monogo的生产数据全量抽取并做实时同步数据,选型为oracle 和rds 全量数据先通过datax抽取到hbase 然后oracle通过OGG做实时同步到hbase,rds 通过canal做实时同步到hbase。这里先记录一下rds抽取中遇到的坑。1、在rds通过datax全量抽取到hbase的时候出现了数据缺失的情况,...
cannal整体分为订阅端和消费端即 canal-deployer 、 canal-adapter首先是使用cannal-deployer订阅rds的二进制日志,然后配置canal-adapter 来消费日志1、配置canal-deployer订阅rds首先下载canal-deployer 到系统/canal目录mkdir /canal cd canal wget https://githu...