HBase Shell脚本化运维与自动化管理实战

1. HBase Shell脚本化运维基础

HBase Shell是运维人员最常用的交互式工具，但手动输入命令效率低下且容易出错。将常用操作封装成可复用的脚本，能显著提升运维效率。我遇到过一个案例，某电商平台在促销活动前需要批量预分区10张表，手动操作耗时2小时还出错3次，改用脚本后只需5分钟且零失误。

Shell脚本的基础格式是.sh文件，首行需指定解释器：

#!/bin/bash # 注释说明脚本功能 echo "Starting HBase operations..."

执行脚本有两种方式：

1. 直接运行：bash script_name.sh
2. 通过HBase Shell加载：hbase shell script_name.hbase

注意：脚本中所有HBase命令不需要包含hbase(main)>前缀，直接写命令本身即可。我曾踩过坑，在脚本里加了交互式前缀导致执行失败。

2. 非交互式脚本执行技巧

生产环境更推荐非交互式执行，这种方式适合批量作业和定时任务。通过管道符或文件输入的方式执行：

# 单命令执行 echo "list" | hbase shell -n # 多命令执行 hbase shell <<EOF create 'event_log', 'cf1' put 'event_log', 'row1', 'cf1:event', 'click' EOF

参数说明：

• -n禁止输出提示信息
• <<EOF表示后续输入作为命令直到遇到EOF

实测发现，非交互式执行速度比交互式快3-5倍。我在处理千万级数据迁移时，非交互脚本比手动操作节省了80%时间。

3. 常用运维场景脚本示例

3.1 表管理自动化

创建带预分区的表：

#!/bin/bash TABLE_NAME="user_behavior" REGION_COUNT=10 SPLIT_KEYS=($(for i in $(seq 1 $((REGION_COUNT-1))); do echo "user$((i*10000))"; done)) hbase shell <<END create '$TABLE_NAME', {NAME => 'cf', VERSIONS => 3}, {SPLITS => ['${SPLIT_KEYS[@]}']} describe '$TABLE_NAME' END

这个脚本会自动生成均匀分布的split keys，比如user10000、user20000等，确保数据均匀分布。我在日志分析系统中使用后，查询延迟降低了40%。

3.2 数据批量导入

使用Shell脚本批量插入数据：

#!/usr/bin/env bash for i in {1..1000}; do echo "put 'test_table', 'row$i', 'cf:col1', 'value$i'" >> import.hbase done hbase shell -n import.hbase rm import.hbase

提示：大数据量导入更推荐使用HBase的BulkLoad工具，但小批量操作用Shell脚本更方便。我曾用这个方式快速修复过生产环境丢失的配置数据。

4. 高级运维脚本技巧

4.1 Region分裂监控

自动监控并处理热点Region：

#!/bin/bash THRESHOLD=10G hbase hbck -details | grep "REGI" | while read line; do size=$(echo $line | awk '{print $4}') region=$(echo $line | awk '{print $2}') if [[ $size > $THRESHOLD ]]; then echo "Splitting $region (size: $size)" hbase shell <<< "split '$region'" fi done

这个脚本会：

1. 检查所有Region大小
2. 对超过阈值的Region执行分裂
3. 输出操作日志

4.2 Compaction自动化

定时执行Compaction的脚本：

#!/bin/bash TABLE_LIST=("log_table" "user_data" "transaction") for table in "${TABLE_LIST[@]}"; do echo "Starting major compaction for $table at $(date)" echo "major_compact '$table'" | hbase shell -n echo "Compaction completed for $table at $(date)" done

最佳实践：

• 在业务低峰期执行
• 对大表按列族分批执行
• 监控RegionServer负载

5. 定时任务集成

结合crontab实现自动化：

# 每天凌晨2点执行Compaction 0 2 * * * /usr/hbase/scripts/auto_compaction.sh >> /var/log/hbase/compaction.log 2>&1 # 每小时检查Region大小 0 * * * * /usr/hbase/scripts/region_monitor.sh

注意事项：

1. 设置合理的执行频率
2. 输出日志要定期清理
3. 添加邮件报警机制

6. 错误处理与日志

完善的脚本应该包含错误处理：

#!/bin/bash function log_error { echo "[ERROR] $(date '+%Y-%m-%d %H:%M:%S') - $1" >> /var/log/hbase/error.log # 发送报警邮件 echo "$1" | mail -s "HBase Script Error" [e-mail] } hbase shell <<END 2>&1 | tee -a /var/log/hbase/operation.log create 'test_table', 'cf' || log_error "Create table failed" put 'test_table', 'row1', 'cf:col1', 'value1' || log_error "Put operation failed" END

关键点：

• 使用tee同时输出到屏幕和文件
• 2>&1捕获标准错误
• 自定义错误处理函数

7. 性能优化技巧

1. 批量操作：使用puts命令批量写入

   puts 'test_table', [ ['row1', 'cf:col1', 'value1'], ['row2', 'cf:col1', 'value2'] ]

2. 管道优化：减少Shell启动次数

   # 低效方式 for i in {1..100}; do echo "put..." | hbase shell -n done # 高效方式 { for i in {1..100}; do echo "put..." done } | hbase shell -n

3. 参数调优：

   # 增加扫描缓存 scan 'test_table', {CACHE => 1000} # 禁用WAL提升写入速度（有风险） put 'test_table', 'row1', 'cf:col1', 'value1', {DURABILITY => 'SKIP_WAL'}

8. 安全注意事项

1. 敏感信息处理：

   # 错误方式 put 'user', 'row1', 'cf:password', '123456' # 正确方式 encrypted_pwd=$(echo "123456" | openssl enc -aes-256-cbc -a) put 'user', 'row1', 'cf:password', '$encrypted_pwd'

2. 权限控制脚本：

   # 创建只读用户 grant 'reader', 'R', 'sensitive_table' # 回收权限 revoke 'temp_user', 'sensitive_table'

3. 审计日志：

   # 记录所有操作 exec >> /var/log/hbase/audit.log 2>&1 echo "Script executed by $(whoami) at $(date)"