Dateien schnell von Windows Server zu Linux Server

[Keleg]

Hallo,
Ich beschäftige mich seit etwa einer Woche mit der Frage, wie ich am schnellsten vor allem effektiv einige Dateien (viele an der Zahl) von etwa 6,77 GB (ungepackt) von einem Windows VServer zu einem Debian Server transferieren kann. Hierbei geht es um eine Idee, die ARK Modifikationen meines Gameservers automatisch updaten zu lassen.
Also das Szenario im detail:


VServer Windows 2012 R2 + Plesk 12.5 64-bit
Debian 8 - 64-bit + ProFTP + curlftpfs


1. ARK startet auf unserem VServer mehrmals am Tag & läd im Hauptmenü ggf. Modifikationen runter. (läuft bereits)

2. ?Dateien packen?

3. Diese Modifikationen sollen nun auf einen Ordner des Debian Servers hochgeladen werden. Es sind zur Zeit 20 Dateien, davon 10 Ordner mit wiederrum zahlreichen kleinen Dateien darin.

4. ?Dateien entpacken?

5. Der ARK Server wird jede Nacht um 03 Uhr und jeden Mittag um 15 Uhr gestopt, nun gibt es maximal 5 Minuten Zeit ein Backup zu machen & Modifikationen ein zufügen. (Das Backup-Script läuft bereits)

EINSCHRÄNKUNGEN: Der Debian Server sollte sauber bleiben, das heißt dort sollen möglichkeit höchsten Clientanwendungen platz finden. Der VServer kann gerne als "Host" für alles fungieren.



Kann ich das per CIFS oder FTP lösen? Hat jemand eventuell noch bessere Ideen?
Außerdem wäre ich über Ratschläge dankbar, die mir verraten wie ich dem System sage, dass Datein nur dann gepackt oder hochgeladen werden, wenn sie geändert wurden.

[Blackbox]

Anmerkung: Ich weiß nicht, was ARK eigentlich ist, und habe jetzt auch keine Lust zu Startpagen.
Ich hoffe nur es ist nicht irgendwelcher proprietärer Kram.

von einem Windows VServer zu einem Debian Server transferieren

Zum Übertragen der gepackten Dateien bietet sich der Windows Pendant zu scp an. - Ich denke, putty bringt da etwas mit? - Weiß ich aber nicht, da ich putty nicht benutze.

Dateien packen

das kommt darauf an, welchen Packer du unter Windows einsetzt, der WIndowseigenen Packer kann - soweit mir bekannt - nur zip, auf der Linuxkiste kannst du dann unzip benutzen.

maximal 5 Minuten Zeit ein Backup zu machen

Sollte das nicht vom Umfang des Backups abhängen?


Wenn ich mir aber den Rest deines Postes durchlese, möchte ich anzweifeln, dass du überhaupt, einen Linuxserver betreiben solltest. - Zumindest dann, wenn dieser, über das Internet kommuniziert.

[Keleg]

Hallo,
ARK ist ein Spiel & in diesem Fall geht es wie beschrieben, darum Modifikationen hoch zu laden.
Der Spiele Server schafft sein Backup in 2 Minuten (SSD Vorhanden). Nun soll in den Zeitrahmen von 5 Minuten noch das Mod-Update hinzu kommen.
Warum 5 Minuten? Weil Gameserver keine downtime gebrauchen können!
Allerdings sollte es kein Problem sein 6,77GB in 3 Minuten auf einer SSD hin & her zu kopieren.

Also nun nochmal die Frage, wie mache ich das nun? Es gibt so viele möglichkeiten, welche ist gut?
Und wo bekomme ich ein Script her, dass mit Dateien auf Windows Zipt... hatte schon batches gefunden, die funktionierten aber nicht.
Kann ich nicht einfach die Windows Freigabe Mounten? (Server stehen nicht im selben RZ)

Wenn ich mir aber den Rest deines Postes durchlese, möchte ich anzweifeln, dass du überhaupt, einen Linuxserver betreiben solltest. - Zumindest dann, wenn dieser, über das Internet kommuniziert.

Es kann halt nicht jeder alles wissen. Vor allem dann nicht, wenn man sich alles selber aus den Fingern saugen muss. Ich lerne, ich bringe mir vor allem meist alles selbst bei. Habe seit jahre niemanden den ich fragen kann & auch keine Ausbildung gemacht. Reines hobby mit weiterbilung! Also bitte komm mir nicht mit solchen Aussagen, das ist echt unter aller S...! Da fragt man in einem Forum mal nach hilfe, damit man eben nicht dumm bleiben muss & dann kommt solch eine Aussage -ziemlich Kontra produktiv würde ich meinen!
Der Linux Server an sich wurde abgesichert, falls es nun darum geht!
Rkhunter, geänderter SSH Port, Key-Files, root login gesperrt, configurierte IP-Tables & fail2ban... - warum soll ich nun keinen Linux server im Internet nutzen? @ Blackbox

[HZB]

Die Frage ist mal wo steht den der Debian Server ? Auch bei einem Hostingprovider ? Bzw. was hat der Debianserver für eine Internetanbindung. 6,7 GB über das Netz zu übertragen ist nicht gerade wenig wenn man hinter einer ADSL Leitung sitzt.

Wenn Du nur einige Daten transferieren willst dann würde ich mir mal

rsync https://de.wikipedia.org/wiki/Rsync ansehn.

Ansonsten ist der Weg von Blackbox mittels eines Scripts und Windows Task Scheduler ein guter.

[schwedenmann]

Hallo

Allerdings sollte es kein Problem sein 6,77GB in 3 Minuten auf einer SSD hin & her zu kopieren.

Wie kommst du darauf, die Server sind wie miteinander verbunden ? per inet ?

Dann wirst du mehr als 5min fürs backup einplanen müssen.


mfg
schwedenmann

[Keleg]

Hallo,
Zuerst noch als Information: Die beiden Server stehen im Internet, befindet sich nicht im selben Rechenzentrum. Der VServer hat schiebt allerdings 10-20mb pro Sekunde ins Netz.

Schwedenmann, meine Idee war deshalb auch die Modifikationen erst irgendwo auf den Linux-Server hoch zu laden & sie dann sobald der PID von ARK gestopt wurde in den Modifikations-Ordner ein zufügen!
Weil es eigentlich egal ist, wann die Dateien hochgeladen werden sollen. Wichtig nur, dass der Austausch bzw. Transfer von A nach B nachher schnell geht.

[HZB]

Vielleicht noch ein anderer Ansatz. Bei (fast) jedem Provider kann man sich FTP Backup Platz mieten und meist recht einfach über Plesk einrichten. Und die Verbindung innerhalb des RZ des Providers ist meistens sehr sehr schnell gegenüber einer Übertragung ins Internet.

[Blackbox]

ARK ist ein Spiel

Ich bereue jetzt schon auf diesen Post geantwortet zu haben. - Asche auf mein Haupt.

Rkhunter, geänderter SSH Port, Key-Files, root login gesperrt, configurierte IP-Tables & fail2ban... - warum soll ich nun keinen Linux server im Internet nutzen? @ Blackbox

Weil Bauernschläue eben auch nicht vor Angriffen schützt, dass du viele Basics nicht beherrscht, schreibst du doch selber in diesem Post.
Und nur weil du Google & Youtube bedienen kannst, heißt das doch nicht, dass du das System unter Kontrolle hast.
Traurig genug, dass man dich darauf auch noch aufmerksam machen muss.

Ich klinke mich hier aus.

[Keleg]

Ark ist ein Spiel, ich betreibe also einen Gameserver. Habe alle fakten geschrieben punkt & aus. Was gibt es denn dazu noch mehr zu sagen? Bzw. was willst du denn da noch in erfahrung bringen?

Mag sein, aber anstatt dass hier so breit zu tretten, könntest du mir ernsthafte Ratschläge geben! Dein Verhalten wirkt auf mich richtig Arrogant & Unsozial. Mag sein, dass vielleicht sogar deutschlands PC-Crack Nr.1 bist & dass du am anderen Ende einer Leitung sitzt. Ist aber noch lange kein Grund so von oben herrab mit Leuten zu kommunizieren!

/edit

Du hast recht, ich kenne sicher nicht alle BASICS. Genau deshalb wäre es wichtig wenn mir mal jemand konstruktiv Schlagwörter liefern würde, mit dennen ich mich befassen soll anstatt hier den Dicken zu schieben.

[uname]

Ich habe nicht alles gelesen. Aber du solltest nur Änderungen sichern. Da nennt man dann inkrementelles Backup. Zwischen zwei Linux-Systemen z.B. so:

Code: Alles auswählen

rsync -av /pfad/von/irgendwo user@server:/pfad/nach/irgendwo
oder
rsync -av user@server:/pfad/von/irgendwo /pfad/nach/irgendwo

Windows ist für IT weniger geeignet. Die GUI der Anwendung braucht meist mehr Speicher als das eigentliche Programm, gleiches gilt für die Performance. Willst du auf Windows das Backup starten oder willst du von Linux das Backup bei Windows abholen?

Von Windows zu Linux:
Gibt ein paar rsync-Clients. Musst mal suchen. Solten laufen ähnlich wo ersten oben aufgeführte Beispiel.

Linux holt bei Windows ab:
Hierzu muss bei Windows irgendeine Art Dienst laufen. Also ein rsync-Server oder ein SSH-Server und rsync. Oder hast du vielleicht einen Ordner per Samba freigegeben, das wäre dann einfacher.

Insgesamt liegt das Problem eher bei Windows und nicht bei Linux. Linux bietet ausreichend viele Tools an.

[Keleg]

Hallo uname,
Danke für deine Antwort. An Rsync habe ich auch bereits Gedacht, wollte aber mich erst noch weiter umschauen was sonst so geht. Aber das klingt für mich auch am besten.
Auf dem VServer werden nur die Modifikationen runter geladen (so ne Windows only Sache). Dann sollen sie übers das Internet mit etwa 10-20mb pro Sekunde auf den Linux root geschoben werden.

[heisenberg]

@Keleg:

Wenn Du hier im Forum schreibst, dass Du ohne ausreichende Wissens- und Erfahrungsaneignung einen Linuxserver im Internet stehen hast, dann kriegst Du mal so grundsätzlich sofort eine auf den Deckel. Is
einfach so. Grund siehe http://root-und-kein-plan.de/ .

---

Wenn Du Daten auf den Server hochladen willst mit geringer Downtime(Ich vermute schnell ist hier gar nicht nötig), dann würde ich das grundsätzlich so empfehlen:

• Kopiere die Daten ganz normal mit pscp oder rsync von Windows aus auf Deinen Linux-Server in ein temporäres Verzeichnis, dass auf dem gleichen Dateisystem liegt, wie Dein ARK-Server. Das darf ruhig länger dauern. zeitgesteuert z. B. um 13:00 Uhr
• Wenn das hochgeladen ist, dann verschiebe auf dem Linux-Server zeitgesteuert z. B. um 14:00 Uhr die Dateien an den Platz, wo es der ARK-Server erwartet. Hintergrundinformation: Bei einem Verschiebevorgang im gleichen Dateisystem werden die eigentlichen Datenblöcke nicht angefasst, sondern nur die Metadaten. Deswegen dauert die Verschiebeoperation nur einen Bruchteil einer Kopieraktion.

[uname]

Ach so schlimm ist das auch nicht. Millionen Windows-Rechner hinter NAT-Routern sind in Bot-Netzen organisiert. Das ist bei den heutigen Bandbreiten ähnlich schlimm.