cdh host识别错误手动修改

cdh host识别错误手动修改

su postgres psql \c scm select * from hosts update hosts set name='hostName' where host_id='xxxxxxx';

大数据技术,基础运维 2021-11-11 PM 0条
手动删除hive 的元数据Metastore(postgresql)

手动删除hive 的元数据Metastore(postgresql)

情况使用kudu作为数据存储impala作为查询端,impala使用的是hive Metastore 做元数据管理。发生问题kudu数据库出故障,导致kudu数据以及表丢失,这种情况使用impala无法删除该表。简单处理办法直接删除hive元数据管理库su postgres psql drop database hive create database hive重新初始化修改/etc/...

大数据技术,基础运维 2021-11-11 PM 0条
flume常用配置

flume常用配置

TAILDIR 方式消费参数默认描述channels––type–The component type name, needs to be TAILDIR. 组件类型名称需要为TAILDIRfilegroups–Space-separated list of file groups. Each file group indicates a set of files to be tailed....

大数据技术,基础运维 2021-11-11 PM 0条
hdfs 常用命令

hdfs 常用命令

查看目录sudo -u hdfs hdfs dfs -ls / 查看个目录大小sudo -u hdfs hdfs dfs -du -h / 创建目录sudo -u hdfs hdfs dfs -mkdir /tmp 为目录修改权限sudo -u hdfs hdfs dfs -chmod -R 775 /tmp/ 清空某个用户下的回收站sudo -u impala hadoop fs -...

大数据技术 2021-11-11 PM 0条
yarn 常用命令

yarn 常用命令

查看任务列表yarn application -list 根据条件过滤列表yarn application -list appStates FINISHED/KILLED/RUNNING/FAILED 查看状态yarn applicaiton -status application_1469094096026_26612 查看applicaiton日志yarn logs -applica...

大数据技术 2021-11-11 PM 0条