HDFS的读写操作原理解析

HDFS的读写操作原理解析

一、写入操作前提有一个文件FileA,100M大小。Client将FileA写入到HDFS上。HDFS按默认配置。HDFS分布在三个机架上Rack1,Rack2,Rack3。步骤1) Client将FileA按64M分块。分成两块,block1和Block2;2) Client向nameNode发送写数据请求,如图蓝色虚线①------>。3) NameNode节点,记录block信息...

大数据技术 2019-08-20 AM 61次 0条
Oracle存储过程书写规范和技巧

Oracle存储过程书写规范和技巧

Oracle存储过程书写规范和技巧1 变量规范变量名全部采用小写,局部变量名使用“v_”开头,输入参数以“i_开头,输出参数以“o_”开头,输入输出参数用io_开头。所有输入参数必须显示声明游标的命名:游标统一用后缀 “_cur” 命名使用命名的常量以避免硬编码,使用常量包,常量统一用 cn_ 的前缀命名当变量代表列时,使用%TYPE属性,当变量实际上表示数据库表的某列数据时,为避免数据库结...

大数据技术 2019-08-07 PM 18次 0条
ZooKeeper集群与Leader选举

ZooKeeper集群与Leader选举

ZooKeeper是一个开源分布式协调服务、分布式数据一致性解决方案。可基于ZooKeeper实现命名服务、集群管理、Master选举、分布式锁等功能。高可用为了保证ZooKeeper的可用性,在生产环境中我们使用ZooKeeper集群模式对外提供服务,并且集群规模至少由3个ZooKeeper节点组成。集群至少由3个节点组成ZooKeeper其实2个节点也可以组成集群并对外提供服务,但我们使...

大数据技术 2019-07-25 PM 32次 0条
高可用数据库主从复制延时的解决

高可用数据库主从复制延时的解决

MySQL主从复制的延时一直是业界困扰已久的问题。延时的出现会降低主从读写分离的价值,不利于数据实时性较高的业务使用MySQL。UDB是UCloud推出的云数据库服务,上线已达六年,运营了数以万计的UDB MySQL实例。除了提供高可用、高性能、便捷易用的产品特性,团队还平均每天帮助用户解决2-3起MySQL实例主从复制延时的问题。从大量实践中我们总结了主从复制延时的各种成因和解决方法,现分...

大数据技术 2019-05-21 AM 29次 0条
SQL查询语句性能优化技巧

SQL查询语句性能优化技巧

1.选择最有效率的表名顺序(只在基于规则的优化器中有效)SQL SERVER的解析器按照从右到左的顺序处理FROM子句中的表名,因此FROM子句中写在最后的表(基础表driving table)将被最先处理,在FROM子句中包含多个表的情况下,必须选择记录条数最少的表作为基础表,当SQLSERVER处理多个表时,会运用排序及合并的方式连接它们,首先,扫描第一个表(FROM子句中最后的那个表)...

系统优化,大数据技术 2019-04-25 AM 28次 0条