hadoop生态做了HA以后遇到的问题

hadoop生态做了HA以后遇到的问题

做了HA以后,有一天修改YARN配置后,就重启了YARN中的active节点,然后发现spark2的thrift无法启动查看log,发现log中报错中看到,spark2的thrift 没有连接active节点。查找再三才发现 spark2连接的是原来的active节点解决办法:保持spark2的配置active节点和变动后的active节点一致。

大数据技术 2019-04-04 AM 0条
史上最全Oracle体系结构整理

史上最全Oracle体系结构整理

本文对Oracle体系结构做了详细的整理汇总,供大家参考学习。一、Oracle组成oracle分两块,oracle数据库软件和oracle数据库。oracle数据库软件位置通过以下命令可以找到:[oracle@redhat4 ~]$ cd $ORACLE_HOME [oracle@redhat4 db_1]$ pwd /u01/app/oracle/product/10.2.0/db_1 [...

大数据技术,系统优化 2019-03-21 AM 0条
GNU Parallel 20190322发布 - 希望帮助加速单线程Linux命令

GNU Parallel 20190322发布 - 希望帮助加速单线程Linux命令

GNU Parallel是在一台或多台计算机上并行执行多个命令/作业的工具。今天发布的是GNU Parallel 20190322版本,与上个月的更新相比有一些变化。GNU Parallel 20190322的主要变化是使用SIGHUP而不是SIGTERM来允许运行作业完成,并且他们还改变了他们的“SIGTERM SIGTERM”行为以杀死正在运行的作业。此外,他们还添加了一些“备忘单”文...

大数据技术 2019-03-17 PM 0条
Github项目推荐 | Homemade Machine Learning-自己动手实践机器学习算法

Github项目推荐 | Homemade Machine Learning-自己动手实践机器学习算法

?通过交互式Jupyter演示和数学解释的流行机器学习算法的Python示例项目地址:https://github.com/trekhleb/homemade-machine-learning【注:划线链接部分请点击底部“阅读原文”访问】对于此仓库的Octave / MatLab版本,请查看 machine-learning-octave项目。本仓库包含在Python中实现的流行机器学习算法...

经验开发,大数据技术 2019-03-17 PM 0条
用Python进行数据清洗,这7种方法你一定要掌握

用Python进行数据清洗,这7种方法你一定要掌握

作者:常国珍、赵仁乾、张秋剑 本文摘编自《Python数据科学:技术详解与商业实践》01 重复值处理数据录入过程、数据整合过程都可能会产生重复数据,直接删除是重复数据处理的主要方法。pandas提供查看、处理重复数据的方法duplicated和drop_duplicates。以如下数据为例: >sample = pd.DataFrame({'id':[1,1,1,3,4,5], 'na...

经验开发,大数据技术 2019-03-17 PM 0条