HDFS的读写操作原理解析

HDFS的读写操作原理解析

一、写入操作前提有一个文件FileA,100M大小。Client将FileA写入到HDFS上。HDFS按默认配置。HDFS分布在三个机架上Rack1,Rack2,Rack3。步骤1) Client将FileA按64M分块。分成两块,block1和Block2;2) Client向nameNode发送写数据请求,如图蓝色虚线①------>。3) NameNode节点,记录block信息。并返回可用的DataNode,如粉色虚线②--------->。Block1: host2,host1,host3Block2: host7,host8,host4[mark_c]原理:1、N...

大数据技术 2019-08-20 AM 91℃ 0条
Oracle存储过程书写规范和技巧

Oracle存储过程书写规范和技巧

Oracle存储过程书写规范和技巧1 变量规范变量名全部采用小写,局部变量名使用“v_”开头,输入参数以“i_开头,输出参数以“o_”开头,输入输出参数用io_开头。所有输入参数必须显示声明游标的命名:游标统一用后缀 “_cur” 命名使用命名的常量以避免硬编码,使用常量包,常量统一用 cn_ 的前缀命名当变量代表列时,使用%TYPE属性,当变量实际上表示数据库表的某列数据时,为避免数据库结构修改对变量的影响,应统一使用%TYPE属性对变量命名使用%TYPE以标准化非数据库变量的声明2 包规范按照项目制定的文件组织划分包内容包内的存储过程及函数的命名必须遵循CPIC制订的相关规范3 游标...

大数据技术 2019-08-07 PM 24℃ 0条
ZooKeeper集群与Leader选举

ZooKeeper集群与Leader选举

ZooKeeper是一个开源分布式协调服务、分布式数据一致性解决方案。可基于ZooKeeper实现命名服务、集群管理、Master选举、分布式锁等功能。高可用为了保证ZooKeeper的可用性,在生产环境中我们使用ZooKeeper集群模式对外提供服务,并且集群规模至少由3个ZooKeeper节点组成。集群至少由3个节点组成ZooKeeper其实2个节点也可以组成集群并对外提供服务,但我们使用集群主要目的是为了高可用。如果2个节点组成集群,其中1个节点挂了,另外ZooKeeper节点不能正常对外提供服务。因此也失去了集群的意义。如果3个节点组成集群,其中1个节点挂掉后,根据ZooKeep...

大数据技术 2019-07-25 PM 49℃ 0条
ocserv搭建以及开启双因素验证兼容annyconnect

ocserv搭建以及开启双因素验证兼容annyconnect

安装 ocservyum -y install epel-release yum -y install ocserv yum install iptables-services2. 准备证书可以自签不过推荐申请免费证书自签证书:$ vi ca.tmpl cn = "AnyConnect" organization = "Pool" serial = 1 expiration_days = 3650 ca signing_key cert_signing_key crl_signing_key $ certtool --generate-...

基础运维 2019-06-26 PM 220℃ 0条
centos自带系统组件coreutils

centos自带系统组件coreutils

coreutils 升级增加了很多内置功能与函数,我升级是因为base32 命令缺失的问题, 升级流程如下wget http://ftp.gnu.org/gnu/coreutils/coreutils-8.31.tar.xz tar xfv coreutils-8.31.tar.xz cd coreutils-8.31 FORCE_UNSAFE_CONFIGURE=1 ./configure \ --prefix=/usr \ --libexecdir=/usr/lib \ --enable-no-install-program=kill,uptime make -j48 ma...

基础运维 2019-06-26 PM 86℃ 0条