ホーム > Linux > 大量ファイルのコピー

大量ファイルのコピー

サーバの移行案件がありまして、大量のファイルをもっていかないといけないのですが、ハマってますorz
・ファイル数は71万ファイル!
・容量にすると80GB
・オンラインで複製して、最後の移行する際に再度同期をとりたい
・サーバはRHEL3
・バックアップはしたことがない(爆)
ってことで、rsyncをだろうと思いきや、I/O性能がダメなのかrsyncすると通常運用がすんげ重くなってしまい影響がでてしまうorz
んで、rsyncは3系になるとすこし早いらしいと見つけたので、rpmでいれてあるのは「rsync-2.5.6」なので、ソースからとってきて3.0.6をコンパイルして試しにつかってみる
・・あんましかわらず(T_T)

/home/hoge/rsync --rsync-path="nice -n19 /home/hoge/rsync" -av -e ssh --delete svname:/hogehoge/  ./

今回は、RHEL3なので、Kernel2.4なんですが、Kernel2.6からだとioniceってコマンドがあるらしい。

rsync --rsync-path="ionice -c2 -n7 nice -n19 rsync" -av -e ssh --delete svname:/hogehoge/  ./

あとは、dump?

ssh svname  /sbin/dump 0uf - /hogehoge | restore rvf -

これもあんまりかわらず、残り50時間とかでた(^^;
他には、dd?

ssh svname  dd if=/dev/sda3 bs=256M | dd of=/dev/sdb1

bsパラメタでだいぶかわりそうだけど、どのくらいがいいんだろう。
ddだと途中経過がわからないのですが、他端末からkillでUSR1をなげてやると読み書きしたブロックがでるみたいです。しらんかった(^^)

kill -USR1 ddのPID

って、どれもあんまりかわらず、そもそもサーバの問題なのかなぁ。
Xeon 2.4G x 2 、メモリ2Gで普段はCPU全然つかってないし、I/Oも無いのだけど、DISKはAdaptec 2010SでRAID5でした。
あとは、NFSでマウントさせてコピーとかかなぁ・・

カテゴリー: Linux タグ:
  1. コメントはまだありません。
  1. トラックバックはまだありません。

CAPTCHA