Linux 下怎么批量复制上万张图片(高效方法)

14次阅读

推荐 rsync+–files-from 方案:先用 find 生成图片路径列表,再通过 rsync 单次扫描批量复制,避免重复系统调用,兼顾速度、安全与通用性。

Linux 下怎么批量复制上万张图片(高效方法)

直接用 cp 复制上万张图片会非常慢,尤其当源目录文件极多、路径深或目标盘 I/O 负载高时。真正高效的核心不是“换命令”,而是 减少系统调用开销 + 并行 + 避免重复遍历 。下面几种方法按推荐顺序 排列,兼顾通用性、安全性和速度。

用 rsync + –files-from 实现单次扫描 + 并行复制

这是最稳又够快的方案。先生成文件列表(只扫一次),再让 rsync 批量读取并复制,避免 cp 对每个文件都 stat/open/close 一遍。

  • 生成所有图片路径列表(假设全是 .jpg/.png):

find /source/dir -type f (-iname "*.jpg" -o -iname "*.png") > filelist.txt

  • 用 rsync 批量复制(自动跳过已存在且内容一致的文件):

rsync -av --files-from=filelist.txt / /dest/dir/

注意:/ 是根路径占位符,rsync 会把 filelist.txt 中的相对路径(如 photos/2023/001.jpg)按源目录为基准拼接。若 list 是绝对路径,需加 --relative 或改用 rsync -a --files-from=filelist.txt / /dest/dir/ 并确保 list 内路径以 / 开头。

用 parallel + cp 实现真正多线程复制

单个 cp 是单线程,而 parallel 可把文件列表分片并发执行,特别适合多核 CPU 和 NVMe 盘。

  • 安装 parallel(Ubuntu/Debian):

sudo apt install parallel

  • 并发复制(限制 8 个进程,防止 I/O 打满):

find /source/dir -type f (-iname "*.jpg" -o -iname "*.png") | parallel -j 8 cp {} /dest/dir/{/}

{/} 表示取文件名(不含路径),可保留原名;若要保留完整子目录结构,改用 rsync -a --relative 更稳妥。

Linux 下怎么批量复制上万张图片(高效方法)

Huemint

推荐!用 AI 自定义和谐配色

Linux 下怎么批量复制上万张图片(高效方法) 105

查看详情 Linux 下怎么批量复制上万张图片(高效方法)

用 tar 管道流式复制(零磁盘临时文件,适合同盘或高速网络)

不落地生成中间文件,内存 + 管道直传,对 SSD 或远程 NFS/CIFS 共享特别友好。

  • 一行搞定(自动过滤图片,保留目录结构):

find /source/dir -type f (-iname "*.jpg" -o -iname "*.png") -print0 | tar -c --null -T - | (cd /dest/dir && tar -x)

优点:无临时文件、stat 开销小、支持长路径和特殊字符;缺点:无法跳过已有文件,全量覆盖。如需增量,还是优先选 rsync。

避坑提醒

  • 别用 cp -r 整目录 —— 它会递归 stat 每个子目录,哪怕里面全是空文件夹
  • 慎用 cp --reflink=always(仅 Btrfs/XFS)—— 虽快但复制后仍是硬链接,删源文件会影响目标
  • 复制前先 df -h 确认目标空间足够,万级图片容易误估体积
  • 关键数据务必加 --dry-run(rsync)或先试 100 张,验证路径和权限

基本上就这些。实际速度取决于你的存储类型(HDD 还是 NVMe)、CPU 核数、是否跨文件系统。一般 rsync + files-from 或 parallel + cp 能比原始 cp 快 3–10 倍,而且稳定可控。

星耀云
版权声明:本站原创文章,由 星耀云 2025-12-04发表,共计1395字。
转载说明:转载本网站任何内容,请按照转载方式正确书写本站原文地址。本站提供的一切软件、教程和内容信息仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。
text=ZqhQzanResources