news 2026/4/14 20:26:14

解决hbase配置过程 shell命令不可用问题

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
解决hbase配置过程 shell命令不可用问题

输入shell命令不可用

日志反复出现的FanOutOneBlockAsyncDFSOutputHelperIllegalArgumentException是一个经典的 HBase 2.4.x 与 Hadoop 3.3.x 的兼容性问题。

这是因为 HBase 在使用异步刷新(AsyncFS)写 WAL 日志时,与 Hadoop 3.x 内部的 Protobuf 处理方式发生了冲突。这就是为什么输入jps HMaster 虽在,但节点永远处于“正在初始化”且无法正常提供服务的原因。

解决步骤:

由于直接执行停止hbase命令会卡顿省略号很久

/export/server/hbase/bin/stop-hbase.sh

所以用杀死进程来清空之前错误的配置

1. 强制清理残留进程

既然stop-hbase.sh无效,请先彻底清理环境:

# 杀掉 node1 上的所有 HBase 相关进程 ps -ef | grep hbase | grep -v grep | awk '{print $2}' | xargs kill -9

如果在其他节点(node2, node3)也有进程,请同步清理。

2. 修改hbase-site.xml配置(关键!!!!)

需要关闭导致报错的“异步 WAL 写入”功能,让 HBase 使用传统的同步方式。

编辑文件:vi /export/server/hbase/conf/hbase-site.xml

<configuration>标签内添加以下属性:

<property> <name>hbase.wal.provider</name> <value>filesystem</value> </property>
  • 同步配置:如果有多个节点,请确保所有节点的hbase-site.xml都做了这个修改。

3.zkCli.sh也需要清空配置
/export/server/zookeeper/bin/zkCli.sh
  • 进入后执行清理(防止旧的 Master 锁干扰):

    deleteall /hbase quit
4. 重新启动并验证

按顺序启动:

  1. 启动 HDFS 和 ZooKeeper(如果之前关了的话)。

  2. 启动 HBase:

    start-hbase.sh
  3. 验证进程:在 node1 执行jps,确保HMasterHRegionServer同时存在。

  4. 验证 Shell:等待约 20 秒,进入hbase shell再次执行status。

  5. 截图成功

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/14 16:27:46

产品改进建议收集:来自一线的声音

Anything-LLM 核心架构解析&#xff1a;从个人助手到企业级知识中枢的演进之路 在信息爆炸的时代&#xff0c;我们每天都被海量文档包围——PDF 报告、Word 手册、Excel 表格、PPT 汇报……这些非结构化数据如同散落的拼图&#xff0c;难以快速整合成可用的知识。传统的搜索方式…

作者头像 李华
网站建设 2026/4/13 6:42:13

7、管理用户账户:Windows 2000 中的用户配置文件、主文件夹与组策略

管理用户账户:Windows 2000 中的用户配置文件、主文件夹与组策略 在 Windows 2000 系统中,管理用户账户是一项重要的任务,它涉及到用户配置文件、主文件夹和组策略等方面。这些功能为管理员提供了强大的工具,有助于提高用户生产力和降低管理成本。 1. 用户配置文件概述 …

作者头像 李华
网站建设 2026/4/14 20:12:10

7、打造魅力应用:搜索与筛选功能全解析

打造魅力应用:搜索与筛选功能全解析 在开发应用时,搜索和筛选功能是提升用户体验的关键部分。本文将详细介绍如何在应用中实现搜索筛选功能,以及如何提供搜索建议,包括从本地列表、已知文件夹和在线源获取建议。 实现筛选功能 当搜索功能实现后,为用户提供筛选功能是很…

作者头像 李华
网站建设 2026/4/11 0:49:11

10、Windows 开发:实时磁贴、徽章与通知的使用

Windows 开发:实时磁贴、徽章与通知的使用 在 Windows 开发中,实时磁贴、徽章和通知是提升应用用户体验的重要元素。下面将详细介绍它们的使用方法和相关代码实现。 为辅助磁贴添加导航功能 在 Windows RT 开发里,要让辅助磁贴导航到特定页面,与 Windows Phone 开发有所不…

作者头像 李华
网站建设 2026/4/10 17:39:28

端到端语音大模型高质量数据集典型案例

一、背景 当前语音大模型在落地应用中面临多语言数据稀缺、方言覆盖不足、场景适配能力弱等挑战。标贝科技采用"多源采集生成增强智能管线"架构体系&#xff0c;构建了总时长超过130万小时的高质量端到端语音大模型数据集&#xff0c;涵盖全球30余种语言及方言&#…

作者头像 李华
网站建设 2026/4/11 0:31:31

合规护航发展:智慧管理时代,每家企业都需筑牢的“生命线”

近日&#xff0c;国家市场监督管理总局联合国务院国资委&#xff0c;面向中央企业举办了以“加强反垄断合规&#xff0c;服务高质量发展”为主题的反垄断合规讲堂。讲堂明确指出&#xff0c;“要落实企业主体责任&#xff0c;坚持依法合规经营”&#xff0c;并着力构建与一流企…

作者头像 李华