推荐 rsync+–files-from 方案:先用 find 生成图片路径列表,再通过 rsync 单次扫描批量复制,避免重复系统调用,兼顾速度、安全与通用性。

直接用 cp 复制上万张图片会非常慢,尤其当源目录文件极多、路径深或目标盘 I/O 负载高时。真正高效的核心不是“换命令”,而是 减少系统调用开销 + 并行 + 避免重复遍历 。下面几种方法按推荐顺序 排列,兼顾通用性、安全性和速度。
用 rsync + –files-from 实现单次扫描 + 并行复制
这是最稳又够快的方案。先生成文件列表(只扫一次),再让 rsync 批量读取并复制,避免 cp 对每个文件都 stat/open/close 一遍。
- 生成所有图片路径列表(假设全是 .jpg/.png):
find /source/dir -type f (-iname "*.jpg" -o -iname "*.png") > filelist.txt
- 用 rsync 批量复制(自动跳过已存在且内容一致的文件):
rsync -av --files-from=filelist.txt / /dest/dir/
注意:/ 是根路径占位符,rsync 会把 filelist.txt 中的相对路径(如 photos/2023/001.jpg)按源目录为基准拼接。若 list 是绝对路径,需加 --relative 或改用 rsync -a --files-from=filelist.txt / /dest/dir/ 并确保 list 内路径以 / 开头。
用 parallel + cp 实现真正多线程复制
单个 cp 是单线程,而 parallel 可把文件列表分片并发执行,特别适合多核 CPU 和 NVMe 盘。
- 安装 parallel(Ubuntu/Debian):
sudo apt install parallel
- 并发复制(限制 8 个进程,防止 I/O 打满):
find /source/dir -type f (-iname "*.jpg" -o -iname "*.png") | parallel -j 8 cp {} /dest/dir/{/}
{/} 表示取文件名(不含路径),可保留原名;若要保留完整子目录结构,改用 rsync -a --relative 更稳妥。
用 tar 管道流式复制(零磁盘临时文件,适合同盘或高速网络)
不落地生成中间文件,内存 + 管道直传,对 SSD 或远程 NFS/CIFS 共享特别友好。
- 一行搞定(自动过滤图片,保留目录结构):
find /source/dir -type f (-iname "*.jpg" -o -iname "*.png") -print0 | tar -c --null -T - | (cd /dest/dir && tar -x)
优点:无临时文件、stat 开销小、支持长路径和特殊字符;缺点:无法跳过已有文件,全量覆盖。如需增量,还是优先选 rsync。
避坑提醒
- 别用
cp -r整目录 —— 它会递归 stat 每个子目录,哪怕里面全是空文件夹 - 慎用
cp --reflink=always(仅 Btrfs/XFS)—— 虽快但复制后仍是硬链接,删源文件会影响目标 - 复制前先
df -h确认目标空间足够,万级图片容易误估体积 - 关键数据务必加
--dry-run(rsync)或先试 100 张,验证路径和权限
基本上就这些。实际速度取决于你的存储类型(HDD 还是 NVMe)、CPU 核数、是否跨文件系统。一般 rsync + files-from 或 parallel + cp 能比原始 cp 快 3–10 倍,而且稳定可控。