打包备份

5千万文件的备份。总大小约10T,平均200K的小文件居多。 源件存储在MooseFS,摸索的工具有, borg 速度慢,能去重又怎样。。。 mongodb 备份的备份,依赖多 restic 揍是慢,不能忍。。。 duplicity 比较慢,缺少定制化 压缩算法: gzip、bzip2、xz、zstd、lzop、lz4 最终方案,备份tar包(z...

2020-09-02 · wuan

提取tgz里面的tgz里面的tgz

假设有foo.tgz文件内容如下: foo.tgz/ foo/1 foo/2.tgz foo/3 假设其中2.tgz文件内容如下: 2.tgz/ 2/a 2/b 2/c.tgz 如果想要直接操作ccc.tgz文件,可以: vvvvv<4> tar zxvfO foo.tgz 2.tgz | tar zxvfO - c.tgz | tar ztvf - | more ^<1> ^^^^^<2> ^<3> ^<5> 解压出的内容交给stdout 单独提取个别文件(2.tgz) 从stdout获取内容(2.tgz) 单独提取个别文件(c....

2012-03-31 · wuan

备份大目录 tar 比 scp 快

只限于文件小而多的情况,传输单个大文件两者应该是一样地 备份,从远端,到本地 % ssh someone@somewhere "cd /my/big/folder; tar cvzf - ." > /my/backup.tgz 还原,从本地,到远端 % ssh someone@somewhere "tar xvzf - -C /my/new/directory/" < /my/backup.tgz 备份,从本地,到远端 % cd /my/big/folder; sudo tar cvzf - . | ssh someone@somewhere "dd of=/my/backup.tgz" 还原,从远端,到本地 % ssh someone@somewhere "cat /my/backup.tgz" | tar xzvf - -C /my/new/directory/

2011-01-05 · wuan