手动删除hive 的元数据Metastore(postgresql)

手动删除hive 的元数据Metastore(postgresql)

情况使用kudu作为数据存储impala作为查询端,impala使用的是hive Metastore 做元数据管理。发生问题kudu数据库出故障,导致kudu数据以及表丢失,这种情况使用impala无法删除该表。简单处理办法直接删除hive元数据管理库su postgres psql drop database hive create database hive重新初始化修改/etc/...

大数据技术,基础运维 2021-11-11 PM 0条
nginx反向代理常用配置

nginx反向代理常用配置

# 数据接收 upstream flink_server { server xxxx:8081; } # 数据接收 server { listen 80; # 端口号,可以自定义 server_name flink.xxx.com; # 这里需要改: 只需把 api.sensorsdata.sa 改成自己的域名...

基础运维 2021-11-11 PM 0条
flume常用配置

flume常用配置

TAILDIR 方式消费参数默认描述channels––type–The component type name, needs to be TAILDIR. 组件类型名称需要为TAILDIRfilegroups–Space-separated list of file groups. Each file group indicates a set of files to be tailed....

大数据技术,基础运维 2021-11-11 PM 0条
postgresql 毫秒转timestamp

postgresql 毫秒转timestamp

今天遇到一个问题,就是其他业务系统过来的时间戳类型为毫秒级如:1635830753393 通过postgresql 的to_timestamp函数后,发现时间错误了,得到的时间成为了 53807-06-01 07:29:52.999936经过排查发现时间戳位数问题,于是使用一下方式得到正确的时间select to_timestamp(1635830753393/1000.0) //保留毫秒...

基础运维 2021-11-08 PM 0条
du命令于df命令统计不一致问题处理

du命令于df命令统计不一致问题处理

今天早上收到一个报警,测试服务器磁盘使用量100%,然后我着急忙慌的赶快去处理了。先看具体每个挂载磁盘使用量df -h 发现/opt 目录挂载磁盘满了。第一反应是估计是cdh里面的组件或者开发的拦截器之类的写log写满了,于是去opt目录下具体看是那个文件夹出了问题du -h --max-depth=1 /opt/ 然后尴尬的一幕出现了,du 命令显示 opt整个目录一共占用 69G而df ...

基础运维 2021-11-05 AM 0条