news 2026/4/26 23:19:51

spark读hive偶尔出现table not found

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
spark读hive偶尔出现table not found

1、问题发现:

在spark环境调试业务过程中,出现table not found问题,重跑之后改问题又消失,后面发现有一定概率出现该问题

2、问题定位:

spark环境中是通过hive-site连接hive hive.metastore,查看hive.metastore.uris配置,发现该配置为3个实例

<property>
<name>hive.metastore.uris</name>
<value>thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083</value>
</property>

问题随机发生的原因,猜测可能是不同元数据实例之间数据不同步问题

3、问题分析

查看spark环境连的是哪个uri,多次测试后发现,连接到ip1:9083和ip3:9083时,会出现table not found。连接到ip2:9083时无问题。

spark.sql("show databases").show(false) # 查看hive metastore连接地址 netstat -tpn | grep pid | grep 9083

4、问题解决

临时使用ip2:9083,同步排查thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083不同步的原因

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/23 20:58:02

从爬取到分析:使用 Pandas 处理头条问答数据

在当下的内容生态中&#xff0c;头条问答汇聚了海量用户生成的问答数据&#xff0c;这些数据涵盖了用户的兴趣偏好、问题诉求、内容互动等多维度信息&#xff0c;是洞察用户行为、挖掘内容价值的重要资源。而 Pandas 作为 Python 生态中核心的数据处理库&#xff0c;凭借其高效…

作者头像 李华
网站建设 2026/4/18 9:47:01

Ubuntu下使用conda安装TensorFlow-GPU实战指南

Ubuntu下使用conda安装TensorFlow-GPU实战指南 在实验室部署深度学习项目时&#xff0c;最让人抓狂的不是模型调不通&#xff0c;而是“代码没问题&#xff0c;但GPU就是用不上”。明明装了 tensorflow-gpu&#xff0c;运行时却只看到CPU默默工作&#xff1b;nvidia-smi 显示驱…

作者头像 李华
网站建设 2026/4/25 22:07:10

LobeChat能否实现段落缩写功能?长文本精炼助手

LobeChat能否实现段落缩写功能&#xff1f;长文本精炼助手 在信息爆炸的时代&#xff0c;我们每天面对的文本量呈指数级增长——从学术论文到行业报告&#xff0c;从会议纪要到社交媒体长文。如何快速提取核心内容&#xff0c;成为高效工作的关键。这时&#xff0c;一个能“读…

作者头像 李华
网站建设 2026/4/23 21:10:49

弱网测试利器 - Charles工具实战分享

一&#xff1a;弱网测试要点 二&#xff1a;利用抓包工具charles进行弱网设置&#xff0c;适用PC端和移动端&#xff08;IOS&#xff0f;Android&#xff09; 1、以charles 4.5.6版本为例&#xff0c;打开Proxy->Throttle Settings 2、打开Throttle Settings&#xff0c;界…

作者头像 李华