news 2026/4/17 20:43:19

【ssh】在两个远程服务器之间传输文件的便捷方法

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【ssh】在两个远程服务器之间传输文件的便捷方法

在 Slurm 集群上,大体量的tar | ssh管道传输非常容易被系统“杀掉”,即使你人没断线,后台 I/O / 网络 / login node 的限额也会把进程 SIGKILL,导致tar 包尾部缺失 →Unexpected EOF

例如,在Slurm 集群上迁移 conda 环境(几十 GB):

❌ 不推荐:

  • tar -czf(压缩太慢、CPU+IO重)

  • tar | ssh(login node 很容易 kill)

  • 单次scp(不支持断点)

推荐靠谱方案:rsync + --partial + --inplace


具体做法:rsync+ 断点续传

这是HPC 官方推荐方式,假设源服务器服务端口为3022,目的服务器服务端口为2022。

在 2022 端口(源)执行:

rsync -avh \ --partial \ --inplace \ --delete \ --numeric-ids \ --progress \ -e "ssh -p 3022" \ #连接目的服务器端口执行命令 /home/user/miniconda3/envs/my_env/ \ #源服务器文件夹/文件地址 lzh@209.167.43.117:/home/lzh/miniconda3/envs/my_env/ #目的服务器目的地址

为什么这个一定成功?

  • --partial:中断不丢数据

  • --inplace:避免重复写(大文件关键)

  • rsync逐文件校验,不会生成损坏状态

  • 即使被 Slurm 杀掉,重新执行同一条命令会从断点继续,直至传完文件。

💡你可以反复跑这条命令,直到命令很快结束,传输文件列表为空,仅sent少量Bytes(表示没有文件可传,仅发送一些控制信息),意味着文件传完,如下:

sending incremental file list share/gdb/auto-load/home/ sent 3.68M bytes received 7.92K bytes 19.17K bytes/sec total size is 8.48G speedup is 2,298.80 (DRY RUN)
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/16 14:25:20

KaTrain围棋AI训练平台终极配置指南:从零开始打造智能对弈环境

KaTrain围棋AI训练平台终极配置指南:从零开始打造智能对弈环境 【免费下载链接】katrain Improve your Baduk skills by training with KataGo! 项目地址: https://gitcode.com/gh_mirrors/ka/katrain 想要通过AI技术系统性地提升围棋水平?KaTrai…

作者头像 李华
网站建设 2026/4/16 11:37:53

YOLOv12图像去雾增强实战:GDIP门控可微分图像处理模块完整指南

购买即可解锁300+YOLO优化文章,并且还有海量深度学习复现项目,价格仅需两杯奶茶的钱,别人有的本专栏也有! 文章目录 YOLOv12图像去雾增强实战:GDIP门控可微分图像处理模块完整指南 GDIP核心技术原理解析 可微分图像处理框架 门控注意力机制 完整代码实现方案 GDIP模块核心…

作者头像 李华
网站建设 2026/4/17 7:41:07

日志分析不再难,手把手教你用Azure CLI提取量子作业关键执行数据

第一章:Azure CLI 量子作业的提交日志 在使用 Azure Quantum 进行量子计算开发时,通过 Azure CLI 提交量子作业是核心操作之一。提交后的日志记录不仅包含作业执行状态,还提供了资源消耗、错误诊断和性能分析的关键信息。 配置与登录环境 在…

作者头像 李华
网站建设 2026/4/16 23:56:25

量子电路设计不再抽象(VSCode动态渲染实战案例曝光)

第一章:量子电路 VSCode 可视化的渲染在现代量子计算开发中,可视化量子电路是理解与调试算法的关键环节。借助 Visual Studio Code(VSCode)强大的扩展生态,开发者能够通过插件实现对量子电路的实时渲染与交互式编辑。这…

作者头像 李华
网站建设 2026/4/17 19:07:20

TIOBE 2025年12月编程语言排名:Java退居第四,Python、C、C++领跑

在TIOBE最新发布的2025年12月编程语言排行榜中,一场持续数年的技术格局变革迎来关键节点:Python以绝对优势蝉联榜首,C语言凭借C23标准升级重返第二,C稳居第三,而曾长期占据前三的Java首次跌至第四。这一排名变化不仅折…

作者头像 李华
网站建设 2026/4/16 20:09:14

YOLOv12主干网络革新:MobileNetV4极致优化实战指南

购买即可解锁300+YOLO优化文章,并且还有海量深度学习复现项目,价格仅需两杯奶茶的钱,别人有的本专栏也有! 文章目录 YOLOv12主干网络革新:MobileNetV4极致优化实战指南 MobileNetV4核心技术突破解析 通用倒置瓶颈(UIB)块设计革命 移动端硬件感知优化策略 完整集成方案实…

作者头像 李华