fragen stichworte

Große Dateien auf mehr als 500 Computer übertragen

Ich arbeite mit einem Team zusammen, um 500-600 geliehene Windows 7-Computer für eine jährliche Konferenz zu verwalten. Wir haben eine große Datenmenge, die mit diesen Computern synchronisiert werden muss, bis zu 1 TiB. Die Computer sind in Räume unterteilt und über nicht verwaltete Gigabit-Switches miteinander verbunden. Wir bereiten diese Computer im Voraus mit der Windows-Installation und -Konfiguration vor sowie alle Dateien, die uns zur Verfügung stehen, bevor wir das Basisabbild zur Replizierung durch den Vermieter senden. Jedes Jahr haben wir Präsentatoren vor Ort mit bis zu 30 Gigabyte großen Datenmengen, die in den Raum verschoben werden müssen, in dem sie präsentiert werden. Manchmal haben sie nur wenige Dateien, die kleine Größen haben, wie etwa ein Dia-PDF manchmal viel größer als 5 GiB.

Unsere aktuelle Strategie für das Pushing dieser Dateien besteht in der Verwendung von Batch-Skripts und RoboCopy. Für die großen Pushs verwenden wir einen BitTorrent-Client, um eine Torrent-Datei zu generieren, und dann verwenden wir Batch-RoboCopy, um den Torrent in einen Ordner auf den Remote-Computern zu verschieben, der von einem installierten BT-Client überwacht wird. In vielen Fällen müssen diese Daten sofort mit einem kleinen Zeitfenster übertragen werden. Wir haben mehrere Maschinen in einem Kontrollraum, die identisch sind mit den Maschinen auf dem Boden, die wir für diese Stöße verwenden.

Wir müssen gelegentlich ein Programm auf den Remote-Rechnern ausführen, und derzeit verwenden wir batch und PSexec, um diese Aufgabe zu erledigen.

Wir würden gerne in der Lage sein, auf diese Last-Minute-Schübe mit "Entschuldigung, deine eigene Schuld" zu antworten, aber es wird nicht passieren. Die BT-Methode hat uns eine viel schnellere Antwortzeit ermöglicht, aber der gesamte Stapelprozess kann unübersichtlich werden, wenn mehrere Jobs gepusht werden. Wir verwenden Enterprise Ghost für andere Prozesse, und es funktioniert in diesem großen Umfang nicht gut. Außerdem ist es für eine einmalige Aufgabe wie diese sehr teuer.

BEARBEITEN: Es ist eine harte Anforderung, dass die Remote-Computer auf dem Boden Windows ausführen. Die Steuermaschinen haben keine harten Betriebssystemanforderungen. Ich möchte mich wegen Komplikationen mit Upstream-Routern wirklich von Multicast fernhalten. Ist Multicast oder BitTorrent der bessere Weg, um dies zu erreichen? Gibt es ein anderes Protokoll, das möglicherweise besser funktioniert?

antworten

Sie möchten wirklich ein Multicast-Dateiübertragungsprogramm: UFTP mit anständiger Dokumentation und Erweiterungen im direkten Stil für NAT/Router-Traversal.

Vielleicht sollten Sie sich mord

ansehen  

Murder is a method of using Bittorrent to distribute files to a large amount of servers within a production environment. This allows for scaleable and fast deploys in environments of hundreds to tens of thousands of servers where centralized distribution systems wouldn't otherwise function

.

Murder wurde/wird von den Leuten von twitter entwickelt und benutzt sie täglich, um Dateien zu verteilen.

Möglicherweise wurde eine neue Lösung angezeigt: BitTorrent Sync

Später bearbeiten: Eigentlich würde ich in diesen Tagen wahrscheinlich empfehlen, git-annex assistant oder zu synchronisieren, aber es gibt viele Alternativen

Ich könnte eine Idee für dich haben, die helfen würde. Verzeihen Sie mir, weil ich nicht ganz verstehe, warum das so komplex sein muss, aber wenn es für den Endnutzer einfach ist, die Daten schnell und einfach in einem LAN zu erreichen, könnten Sie vielleicht mit einem NAS-Gerät. Ich habe eine Synology DS1812 + RSYNC mit einem anderen Synology-Laufwerk oder verschiedene RSYNC-fähige Geräte, es hat eine Bit-Torrent-fähige Anwendung namens "Download Station", ich weiß, dass Sie Torrent-Dateien aus dem Laufwerksschacht laden können und ich glaube, Sie können auch erstellen oder Veröffentlichen Sie eine Torrent-Datei mit dieser Anwendung, damit andere eine benötigte Datei herunterladen können. Es hat Apps für mobile Geräte sowohl Apple als auch Android. Es kann auch FTP-Übertragungen durchführen. Dieser Laufwerksschacht könnte Ihnen die Möglichkeit geben, eine Datei schnell zu senden und dann schnell und einfach im LAN zu verteilen. Ich schlage vor, die Daten in das LAN zu stellen, um den LAN-Benutzern einen schnelleren Zugang zu ermöglichen, aber das Schöne an diesen NAS-Geräten ist, dass Sie sie überall online stellen können, solange sie eine schnelle Internetverbindung haben. Vielleicht wäre eines der höherwertigen Synology NAS-Geräte für Ihre Bedürfnisse geeignet.

Synology hat eine virtuelle Schnittstelle, über die Sie nachsehen können, um Ihnen eine bessere Vorstellung zu geben, ob dies für Sie nützlich wäre. Ich werde den folgenden Link in die virtuelle Schnittstelle einfügen

http://www.synology.com/products/dsm_livedemo.php?lang=us

Dieses Gerät bietet außerdem die Möglichkeit, über eine Webschnittstelle oder eine mobile Geräteanwendung auf ihre Daten zuzugreifen.

Ich hoffe, dass das hilft und wie ich sagte, vergib mir, wenn ich die Frage nicht richtig verstehe.