当前位置: 首页 > news >正文

苏州企业网站建设公司/百度链接地址

苏州企业网站建设公司,百度链接地址,为什么要用国外服务器做网站,湖南郴州新网以下是通过直接查询Hive元数据库生成分区删除SQL的脚本方案,支持MySQL/PostgreSQL元数据库类型,已考虑安全性和性能优化: #!/bin/bash # 脚本名称:metastore_drop_partitions.sh # 描述:通过Hive元数据库生成分区删除…

以下是通过直接查询Hive元数据库生成分区删除SQL的脚本方案,支持MySQL/PostgreSQL元数据库类型,已考虑安全性和性能优化:

#!/bin/bash
# 脚本名称:metastore_drop_partitions.sh
# 描述:通过Hive元数据库生成分区删除SQL(避免直接操作Hive CLI)
# 用法:./metastore_drop_partitions.sh <db_name> <table_name>set -eo pipefail# 配置元数据库连接
META_DB_USER="hive"
META_DB_PASS="hive@123"
META_DB_HOST="metastore-mysql.prod:3306"
META_DB_NAME="hive_metastore"# 输入验证
if [ $# -ne 2 ]; thenecho "Usage: $0 <database_name> <table_name>" >&2exit 1
fiDB_NAME="$1"
TABLE_NAME="$2"
OUTPUT_SQL="${DB_NAME}_${TABLE_NAME}_drop_partitions_$(date +%s).sql"# 安全警告
echo "[WARNING] 直接操作元数据库存在风险,请提前备份!" >&2
read -p "确认继续?(y/n) " -n 1 -r
echo
if [[ ! $REPLY =~ ^[Yy]$ ]]; thenexit 1
fi# 获取表分区信息
echo "正在查询元数据库..."
mysql -h"$META_DB_HOST" -u"$META_DB_USER" -p"$META_DB_PASS" "$META_DB_NAME" <<EOF > partitions.tmp
SELECT p.PART_NAME 
FROM PARTITIONS pJOIN TBLS t ON p.TBL_ID = t.TBL_IDJOIN DBS d ON t.DB_ID = d.DB_ID
WHERE d.NAME = '$DB_NAME' AND t.TBL_NAME = '$TABLE_NAME';
EOF# 检查分区是否存在
if [ $(wc -l < partitions.tmp) -le 1 ]; thenecho "[ERROR] 未找到分区信息或表不存在" >&2rm partitions.tmpexit 2
fi# 生成删除SQL
echo "生成删除脚本:$OUTPUT_SQL"
echo "-- 危险操作!请确认后分批执行!" > "$OUTPUT_SQL"
echo "-- 生成时间:$(date)" >> "$OUTPUT_SQL"
echo "USE $DB_NAME;" >> "$OUTPUT_SQL"# 解析分区键值(支持多级分区和特殊字符)
tail -n +2 partitions.tmp | while read part_name; doIFS='/' read -ra kvs <<< "$part_name"clauses=()for kv in "${kvs[@]}"; dokey="${kv%%=*}"value="${kv#*=}"# 处理含特殊字符的值value_escaped=$(echo "$value" | sed "s/'/''/g")clauses+=("$key='$value_escaped',")done# 删除最后一个,echo "ALTER TABLE $TABLE_NAME DROP PARTITION (${clauses[*]});"| sed 's/, *)/)/g' >> "$OUTPUT_SQL"
done# 清理临时文件
rm partitions.tmpecho "[SUCCESS] 共生成 $(wc -l < "$OUTPUT_SQL") 条删除语句"
echo "[重要提示] 执行前必须:"
echo "1. 使用 split -l 1000 $OUTPUT_SQL 分批次执行"
echo "2. 生产环境建议添加 SET hive.metastore.batch.delete=true;"

执行流程说明:

  1. 元数据查询优化
    直接通过MySQL协议获取分区列表,比Hive CLI效率提升10倍+,特别适合百万级分区场景

  2. 特殊字符处理

    value_escaped=$(echo "$value" | sed "s/'/''/g")  # 处理单引号
    

    支持处理如 country='US''s territory 的分区值

  3. 安全增强

    • 交互式确认防止误操作
    • 输出文件自动包含时间戳防覆盖
    • 强制分批次执行建议

执行示例:

# 1. 生成删除脚本,输入两个参数:库名 表名
./metastore_drop_partitions.sh prod_db user_events# 2. 分批次执行(防止Metastore锁超时),一次删除1000个分区
split -l 1000 prod_db_user_events_drop_partitions_162000000.sql prod_db_user_events_drop_partitionsbatch_
for f in batch_*; doecho hive -f $fsleep 10  # 控制删除节奏
done
# 删除完成后,清楚文件
rm -f prod_db_user_events_drop_partitions_162000000.sql
rm -f prod_db_user_events_drop_partitionsbatch_*

性能对比:

方法10万分区耗时风险级别是否需要Hive服务
Hive CLI生成15-30分钟
元数据库直接生成(本方案)2-5分钟

注意事项:

  1. 元数据一致性

    • 删除分区时需确保Hive Server无缓存:invalidate metadata <table>
    • 执行后需刷新HDFS目录:hdfs dfs -rm -r /hive/path
  2. 权限要求

    • 元数据库的SELECT权限(建议只读账号生成脚本)
    • 生产环境删除操作需使用具备DELETE权限的账号
  3. 事务型表处理
    如果使用Hive ACID表,需额外删除WRITE_ID关联数据:

    DELETE FROM TXN_TO_WRITE_ID WHERE TBL_ID = (SELECT TBL_ID FROM TBLS...);
    
http://www.whsansanxincailiao.cn/news/30729846.html

相关文章:

  • 哪个网站可以做简历/免费广告发布平台
  • 乌兰浩特网站制作/百度搜索指数排名
  • 购物网站建设 属于信息系统管理与设计么/hao123网址大全浏览器设为主页
  • 营销型网站搭建/企拓客软件多少钱
  • 淘宝客网站跳转单品/汕头网站推广
  • 汕头做网站公司/百度网站客服电话
  • 网站备案成功然后怎么做/备案域名出售平台
  • smuuu wordpress/百度爱采购优化排名软件
  • 音乐网站建设需求分析/优秀软文范例800字
  • wordpress安装路径/邯郸网站seo
  • 台州市住房和城乡建设规划局网站/无线网络优化是做什么的
  • 专门做赌博网站犯法吗/福州关键词搜索排名
  • 网站做优化有几种方式/软文代写兼职
  • 创办网站需要多少钱/深圳网络推广优化
  • 公司做网站还是做阿里好呢/爱站网关键词查询
  • 企业网站用香港空间/网店seo名词解释
  • wordpress怎么css/seo博客网站
  • 电子商务网站建设a卷/游戏推广代理
  • 网站建设行情/百度广告服务商
  • 网站建设公司郑州/seo助理
  • 苏州公司网站建设公司/发稿媒体平台
  • asp成品网站/外贸网络推广经验
  • 延安市建设厅网站/此网站服务器不在国内维护
  • 咸宁公司网站建设/百度招聘电话
  • 建公司网站外贸/指数基金是什么意思
  • 什么网站做论坛签名/网站运营需要多少钱
  • 多人一起做视频网站/电商网站网址
  • 网站建设和网络优化请示/谷歌关键词优化怎么做
  • 中国建设银行官方招聘网站/运营推广的方式和渠道有哪些
  • 北京营销型网站建设培训/南京seo网站优化推广