fragen stichworte

rsync hängt einfach und erstellt eine Dateiliste

[root@centos/]# rsync -av --exclude thumbs/storage root@xx.27.1.xx:/storage
root@xx.27.1.xx's password: 
building file list ... 

Ich habe seit ungefähr einer Stunde gesessen ... es sind 135 GB Bilder und Ordner

/storage ist ein installiertes ext3-Laufwerk.

Ist es normal, dass rsync die Dateien/Verzeichnisse so lange berechnet hat?

antworten

rsync 2.x erstellt im Vorfeld eine vollständige Dateiliste.

Wenn Sie die Option -P hinzufügen, wird eine Fortschrittsanzeige angezeigt.

Wenn Sie glauben, dass es wirklich hängt, suchen Sie in einem anderen Terminal die PID von rsync und dann

  1. Führen Sie strace -p PID aus und sehen Sie, was es tut. (Drücken Sie zum Stoppen ^ C.)

  2. Führen Sie ps -o wchan PID aus, um zu sehen, wo sich der Kernel befindet.

Sie sollten ein Upgrade auf rsync 3.0.x durchführen, wo Sie von inkrementellen Dateilisten profitieren können. wird hier erläutert. Ich rsyncing Millionen von Bildern (~ 200 GB insgesamt) und sah eine enorme Beschleunigung, wenn ich von rsync 2.x auf 3.x wechselte.

Trotzdem wird es wahrscheinlich lange dauern, bis alle Daten durchgegangen sind. In meinem Fall dauert es immer noch über eine Stunde zwischen zwei recht leistungsfähigen DL380 G5-Servern.

Sie haben vor bemerkt, dass du auch hing. In diesem Dateisystem ist etwas los, und rsync trifft, was auch immer du war.

Sie können schnell nach Kernel-Fehlermeldungen suchen, die auf ein Festplattenproblem hinweisen. Geben Sie dmesg ein und sehen Sie, was unten angezeigt wird.

Der Hang nach der Meldung "Building File List ..." kann durch MTU-Unstimmigkeiten verursacht werden, z. Wenn Sie die Netzwerkschnittstellen mit der MTU 9000 eingerichtet haben, aber nicht den Switch dazwischen, werden kleine Pakete (z. B. die Verbindung zum rsync-Server) durchlaufen, jedoch keine größeren (z. B. das Senden der Dateiliste).

Basierend auf dieser und Ihrer anderen Frage des du/storage -Hängens lässt mich denken, dass weder du noch rsync das Problem ist, sondern dass es einige Probleme mit /storage gibt.