flume常用配置

flume常用配置

TAILDIR 方式消费参数默认描述channels––type–The component type name, needs to be TAILDIR. 组件类型名称需要为TAILDIRfilegroups–Space-separated list of file groups. Each file group indicates a set of files to be tailed....

大数据技术,基础运维 2021-11-11 PM 0条
hdfs 常用命令

hdfs 常用命令

查看目录sudo -u hdfs hdfs dfs -ls / 查看个目录大小sudo -u hdfs hdfs dfs -du -h / 创建目录sudo -u hdfs hdfs dfs -mkdir /tmp 为目录修改权限sudo -u hdfs hdfs dfs -chmod -R 775 /tmp/ 清空某个用户下的回收站sudo -u impala hadoop fs -...

大数据技术 2021-11-11 PM 0条
yarn 常用命令

yarn 常用命令

查看任务列表yarn application -list 根据条件过滤列表yarn application -list appStates FINISHED/KILLED/RUNNING/FAILED 查看状态yarn applicaiton -status application_1469094096026_26612 查看applicaiton日志yarn logs -applica...

大数据技术 2021-11-11 PM 0条
使用nginx做了kudu web Ui代理后无法显示 tablets

使用nginx做了kudu web Ui代理后无法显示 tablets

kudu webUI无法打开tablets 栏目问题:原因kudu前期设置的master是3台,那么tablets 只能master节点查看,然而请求webUI的时候我去看日志,他还是会进行选举。。。我用nginx反向代理(运维部门推荐我们自己做反向代理,就不要申请白名单权限了。),是随机打开某个master的ui,所以导致了nginx反向代理打开的 webui 与kudu内部选举的不一致导...

大数据技术 2021-09-30 PM 0条
docker 安装kudu

docker 安装kudu

编写docker-compose文件version: "3" services: kudu-master: image: apache/kudu:latest network_mode: host command: ["master"] volumes: - /opt/kudu/master:/var/l...

大数据技术 2021-07-23 PM 0条