1:1 kopierter Order hat mimimal andere Größe
1:1 kopierter Order hat mimimal andere Größe
Hallo,
ich habe zur Datensicherung mit cp ganz einfach den Daten-Ordner von der Daten-Partition für Windows auf eine externe Festplatte kopiert. Beide Partitionen sind NTFS. Wenn ich mir die Ordner-Infos anzeigen lasse, sehe ich, dass es - im Gegensatz zum Kopieren unter Windows - gleich viele Dateien sind, die fast die gleiche Größe zusammen haben.
Rechts: Quelle, Links: Ziel
1) Aber wieso sind die Differenzen bei Gesamtgröße bzw. Größe auf Datenträger deutlich anders?
2) Und warum gibt es bei gleichem Dateisystemformat (NTFS) überhaupt einen Unterschied? Das es bei unterschiedlichen Dateisystemformaten einen Unterschied gibt, wird ja vielerorts - auch hier im Forum - erklärt, hierzu fand ich aber nichts.
Grüße
Bebbi
ich habe zur Datensicherung mit cp ganz einfach den Daten-Ordner von der Daten-Partition für Windows auf eine externe Festplatte kopiert. Beide Partitionen sind NTFS. Wenn ich mir die Ordner-Infos anzeigen lasse, sehe ich, dass es - im Gegensatz zum Kopieren unter Windows - gleich viele Dateien sind, die fast die gleiche Größe zusammen haben.
Rechts: Quelle, Links: Ziel
1) Aber wieso sind die Differenzen bei Gesamtgröße bzw. Größe auf Datenträger deutlich anders?
2) Und warum gibt es bei gleichem Dateisystemformat (NTFS) überhaupt einen Unterschied? Das es bei unterschiedlichen Dateisystemformaten einen Unterschied gibt, wird ja vielerorts - auch hier im Forum - erklärt, hierzu fand ich aber nichts.
Grüße
Bebbi
Re: 1:1 kopierter Order hat mimimal andere Größe
Quell- und Zielplatte sind nicht gleich
https://de.m.wikipedia.org/wiki/Festplattengeometrie
https://de.m.wikipedia.org/wiki/Festplattengeometrie
Re: 1:1 kopierter Order hat mimimal andere Größe
Ist der Verschnitt durch die Blöcke.
Auf einem Standard-extfs belegt eine 3kB-Datei einen 4kB-Block,
eine 10kB-Datei auf 3 4kB-Blöcke = 12kB.
Auf einem Standard-extfs belegt eine 3kB-Datei einen 4kB-Block,
eine 10kB-Datei auf 3 4kB-Blöcke = 12kB.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
Re: 1:1 kopierter Order hat mimimal andere Größe
Windows hat wahrscheinlich seine diversen temporären- und template-Daten mit denen es alle Dateisysteme verseucht nicht mitkopiert, daher der Unterschied in der Anzahl der Dateien.
Sollte das gewünscht sein (bei Netzlaufwerken will man eigentlich eher verhindern dass die überhaupt erst angelegt werden...), bzw immer wenn wirklich eine 1:1 Kopie inkl aller Dateiattributen/berechtigungen gewünscht ist, sollt man nicht per cp sondern per rsync -a kopieren... (-> Datum für "Letzte Berechtigungsänderung in den Screenshots)
Sollte das gewünscht sein (bei Netzlaufwerken will man eigentlich eher verhindern dass die überhaupt erst angelegt werden...), bzw immer wenn wirklich eine 1:1 Kopie inkl aller Dateiattributen/berechtigungen gewünscht ist, sollt man nicht per cp sondern per rsync -a kopieren... (-> Datum für "Letzte Berechtigungsänderung in den Screenshots)
Re: 1:1 kopierter Order hat mimimal andere Größe
Hat vielleicht mit automatisch komprimierten Dateien unter windows zu tun,
die beim Kopieren dekomprimiert werden.
-> Einstellung zum (Desktop-)Aufräumen
die beim Kopieren dekomprimiert werden.
-> Einstellung zum (Desktop-)Aufräumen
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
Re: 1:1 kopierter Order hat mimimal andere Größe
Hallo zusammen,
danke für die zahlreichen Antworten.
Grüße
Bebbi
danke für die zahlreichen Antworten.
undreba hat geschrieben:Quell- und Zielplatte sind nicht gleich
https://de.m.wikipedia.org/wiki/Festplattengeometrie
Müssten dann nicht die Abweichungen größer sein? Es sind aber beides eh NTFS-Partitionen,m wie geschrieben.rendegast hat geschrieben:Ist der Verschnitt durch die Blöcke.
Auf einem Standard-extfs belegt eine 3kB-Datei einen 4kB-Block,
eine 10kB-Datei auf 3 4kB-Blöcke = 12kB.
Wie geschrieben, habe ich unter Debian kopiert und nicht unter Windows. Deshalb ist die Anzahl ja auch gleich groß. Unter Windows ist da in der Regle nicht der Fall, was an solchen Dateien liegen mag.r4pt0r hat geschrieben:Windows hat wahrscheinlich seine diversen temporären- und template-Daten mit denen es alle Dateisysteme verseucht nicht mitkopiert, daher der Unterschied in der Anzahl der Dateien.
Sollte das gewünscht sein (bei Netzlaufwerken will man eigentlich eher verhindern dass die überhaupt erst angelegt werden...), bzw immer wenn wirklich eine 1:1 Kopie inkl aller Dateiattributen/berechtigungen gewünscht ist, sollt man nicht per cp sondern per rsync -a kopieren... (-> Datum für "Letzte Berechtigungsänderung in den Screenshots)
Grüße
Bebbi
Re: 1:1 kopierter Order hat mimimal andere Größe
Da bitte ich um Klärung.Bebbi hat geschrieben: Müssten dann nicht die Abweichungen größer sein? Es sind aber beides eh NTFS-Partitionen,m wie geschrieben.
Ich sehe oben nur eine Dateisysteminformation.
Darin sind
Gesamtgröße ....
Größe_auf_Datenträger ...
angezeichnet, und unterscheiden sich um ~ 400MB, bei ~ 620GB gesamt.
Ich bin also davon ausgegangen, daß es sich um diesen Größenunterschied dreht.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
Re: 1:1 kopierter Order hat mimimal andere Größe
Ja, darum ging es mir. Das sind <0,1% also nicht viel. Aber trotzdme gibt es bei gleichen Dateisystem und gleichen Dateien eben diesen Unterschied. Wenn ich den verlinken Artikel richtig verstehe,arbeiten alle Festplatten nach dem gleichen Prinzip - sind beide aus den letzten Jahren, beides HHD.
Re: 1:1 kopierter Order hat mimimal andere Größe
Nur weil beide Dateisysteme NTFS heißen, sind die absolut nicht gleich. Ein aktuelles NTFS hat gefühlt ein paar tasusen Optionen, die unterschiedlich sein können. Hängt davon ab mit was du wie formatiert hast und eben vor allem von der Festplatte. Außerdem wie das NTFS gerade befüllt ist und mit was du drauf schreibst. Ext4 kann beispielsweise kleine Daten schon im Block für die Metadaten schreiben. ext3 kann das noch nicht. Und ob das von deinem Treber auch genutzt wird, weißt du auch nicht. Und ext ist im vergelich zu deinem NTFS noch ein extrem primitives Dateisystem.Bebbi hat geschrieben:2) Und warum gibt es bei gleichem Dateisystemformat (NTFS) überhaupt einen Unterschied?
rot: Moderator wanne spricht, default: User wanne spricht.
Re: 1:1 kopierter Order hat mimimal andere Größe
Selbst wenn es ein- und dasselbe Dateisystem mit denselben Optionen und derselben Blockgröße handelt können sich Unterschiede ergeben, denke ich zumindest. So fassen vielleicht manche Dateisysteme mehrere Dateien zusammen, damit der Speicherplatz effizienter genutzt wird oä.
So etwas wird aber kaum zwei Mal auf genau die gleiche Art und Weise passieren, etwa weil die Dateien in einer anderen Reihenfolge geschrieben wurde, der freie Speicherplatz anders verteilt ist,… solche Dinge können zumindest die Diskrepanz der "Größe auf Datenträger" zwischen den beiden Kopien erklären.
Bei der "Gesamtgröße der Dateien" bin ich mir unsicher, wie es zum Unterschied kommt, aber geringfügige Abweichungen sind auch meiner Erfahrung nach vollkommen normal.
Wenn es mir besonders wichtig ist, dass das 2 Kopien identisch sind, lasse ich die Prüfsummen berechnen und vergleichen. Einige Vorschläge dazu gibt es hier
http://www.commandlinefu.com/commands/v ... r-contents
http://unix.stackexchange.com/questions ... as-one-sum
gallery/image.php?album_id=1&image_id=246
(da sind zwei Eigenschaften-Dialoge nebeneinander von nautilus, caja oder nemo)
So etwas wird aber kaum zwei Mal auf genau die gleiche Art und Weise passieren, etwa weil die Dateien in einer anderen Reihenfolge geschrieben wurde, der freie Speicherplatz anders verteilt ist,… solche Dinge können zumindest die Diskrepanz der "Größe auf Datenträger" zwischen den beiden Kopien erklären.
Bei der "Gesamtgröße der Dateien" bin ich mir unsicher, wie es zum Unterschied kommt, aber geringfügige Abweichungen sind auch meiner Erfahrung nach vollkommen normal.
Wenn es mir besonders wichtig ist, dass das 2 Kopien identisch sind, lasse ich die Prüfsummen berechnen und vergleichen. Einige Vorschläge dazu gibt es hier
http://www.commandlinefu.com/commands/v ... r-contents
http://unix.stackexchange.com/questions ... as-one-sum
Wurde der Screenshot im Forum vielleicht abgeschnitten?rendegast hat geschrieben:Da bitte ich um Klärung.
Ich sehe oben nur eine Dateisysteminformation.
gallery/image.php?album_id=1&image_id=246
(da sind zwei Eigenschaften-Dialoge nebeneinander von nautilus, caja oder nemo)
Re: 1:1 kopierter Order hat mimimal andere Größe
Weiß jemand ob "cp" überhaupt die Datenintegrität beim Kopieren prüft? Vielleicht wurden Dateien ja fehlerhaft kopiert. Man könnte mal rsync bemühen und schauen was passiert:
Wichtig: beide Pfade mit Slash beenden, damit nur Inhalte kopiert werden.
Könnte einige Minuten dauern. Kopiert werden nur Abweichungen. Durchführung auf eigene Gefahr.
Poste die vollständige Ausgabe. Sollte ja eigentlich keine Dateien enthalten
Code: Alles auswählen
rsync -av /pfad/nach/ort1/ /pfad/nach/ort2/
Könnte einige Minuten dauern. Kopiert werden nur Abweichungen. Durchführung auf eigene Gefahr.
Poste die vollständige Ausgabe. Sollte ja eigentlich keine Dateien enthalten
Re: 1:1 kopierter Order hat mimimal andere Größe
Nein. Tut es nicht. Aber wie schon mehrfach gesagt: Es solch minimale Abweichungen sind völlig normal. Die können auch gehörig größer ausfallen.uname hat geschrieben:Weiß jemand ob "cp" überhaupt die Datenintegrität beim Kopieren prüft?
rot: Moderator wanne spricht, default: User wanne spricht.
Re: 1:1 kopierter Order hat mimimal andere Größe
Auch wenn minimale Abweichungen normal sind, lassen sich Übertragungsfehler wohl nicht ausschließen. Wenn die Daten jedoch unwichtig sind ist es natürlich egal.
Re: 1:1 kopierter Order hat mimimal andere Größe
Genau so war es,smutbert hat geschrieben: Wurde der Screenshot im Forum vielleicht abgeschnitten?
....
(da sind zwei Eigenschaften-Dialoge nebeneinander von nautilus, caja oder nemo)
auf meinem remote-Monitor 1024x768 sehe ich exakt nur den linken,
auf dem etwas größeren Desktop ist der rechte dann bis zu
...
Dateityp
Anzahl d
Gesamtg
...
zu sehen.
Danke für den Hinweis.
Wenn der linke "Daten"
Gesamt 669.380.708.929
aufPlatte 669.749.963.264
die Kopie ist von "HHD-Windows1"
Gesamt 669.380.709.313
aufPlatte 669.283.584.000 ( aufPlatte weniger als Gesamt! )
Da ist wohl die embedded Komprimierung von MS-ntfs eine Erklärung.
Die 400Byte bei der Gesamtgröße?
Vielleicht auch die embedded Komprimierung, deren Metadaten unter MS-ntfs.
Hier ein Verzeichnis windows(ntfs-3g):
Code: Alles auswählen
# du -skc ReinstallBackups/0006/*
452 ReinstallBackups/0006/DriverFiles
452 total
# du -skc ReinstallBackups/0006/DriverFiles/*
36 ReinstallBackups/0006/DriverFiles/NVCOI.DLL
284 ReinstallBackups/0006/DriverFiles/idecoi.dll
12 ReinstallBackups/0006/DriverFiles/nvata.PNF
12 ReinstallBackups/0006/DriverFiles/nvata.cat
4 ReinstallBackups/0006/DriverFiles/nvata.inf
100 ReinstallBackups/0006/DriverFiles/nvata.sys
448 total
Code: Alles auswählen
# du -skc ReinstallBackups/0006/*
448 ReinstallBackups/0006/DriverFiles
448 total
# du -skc ReinstallBackups/0006/DriverFiles/*
36 ReinstallBackups/0006/DriverFiles/NVCOI.DLL
284 ReinstallBackups/0006/DriverFiles/idecoi.dll
12 ReinstallBackups/0006/DriverFiles/nvata.PNF
12 ReinstallBackups/0006/DriverFiles/nvata.cat
4 ReinstallBackups/0006/DriverFiles/nvata.inf
100 ReinstallBackups/0006/DriverFiles/nvata.sys
448 total
Code: Alles auswählen
# du -skc System\ Volume\ Information/
636370 System Volume Information/
636370 total
# du -skc System\ Volume\ Information/
865124 System Volume Information/
865124 total
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
Re: 1:1 kopierter Order hat mimimal andere Größe
Es gibst schon einen Grund warum cp das nicht macht: Die Festplatte prüft die Daten vor dem Senden und SATA hat Fehlerkorrektur. Gibt einfach keine oder kaum Szenarien, wo da was schief gehen kann. Du hast da in etwa Wahrscheinlichkeiten von einem Lotto Gewinn, dass da was kaputt geht. Wenn kann da eigentlich nur irgend was in der HD intern kaputt sein. (Also nicht der speicher an sich sondern irgend was anderes.) Wie die SSDs, die es geschafft haben mehrere Daten auf der gleichen stelle zu speichern (und so natürlich überschrieben haben). Und dann merkst du das beim überprüfen auch nicht, weil du erstmal nur aus dem Cache ließt. Die Dateigrößenänderung wird bei vielen Dateien mehr oder minder IMMER passieren gibt also gar keine Hinweise auf irgend was.uname hat geschrieben:Auch wenn minimale Abweichungen normal sind, lassen sich Übertragungsfehler wohl nicht ausschließen. Wenn die Daten jedoch unwichtig sind ist es natürlich egal.
Problematischer ist das wenn du USB-Sticks benutzt. Wenn da der Controller einen Schuss hat, bekommst du ganz gerne mal falsche Daten.
Aber auch da brauchst du zum prüfen erstmal mindestens ein sync und eigentlich muss man nochmal ein paar MiB hinterherschieben um eventuelle Caches zu eliminieren.
rot: Moderator wanne spricht, default: User wanne spricht.
Re: 1:1 kopierter Order hat mimimal andere Größe
Für welche Dateisysteme muss man eigentlich heute noch nach "cp" bzw. "rsync" sicherheitshalber "sync" laufen lassen, um den Speicher-Cache zu schreiben (also ähnlich das sichere Entfernen bei Windows)? Wäre ja auch noch eine Fehlerquelle wobei dann das Ziel eigentlich weniger Daten enthalten sollte als die Quelle.
- sys_op
- Beiträge: 672
- Registriert: 17.09.2007 19:10:47
- Lizenz eigener Beiträge: GNU General Public License
Re: 1:1 kopierter Order hat mimimal andere Größe
Nein, nicht zwangsläufig, eine Datei die 4 Blöcke belegt wird mit 4 Blöcken gerechnet, der Unterschied entsteht nur durch die Dateien, die einen Block zwar reservieren, aber nicht ausfüllen.Bebbi hat geschrieben: Müssten dann nicht die Abweichungen größer sein? Es sind aber beides eh NTFS-Partitionen,m wie geschrieben.
sync hat meiner Meinung nach nichts mit dem Dateisystem selbst zu tun, es geht doch mehr um jene Dateien, die sich eventuell noch im buffer im Ram befinden.
gruss sys;-)
Re: 1:1 kopierter Order hat mimimal andere Größe
Hallo wanne und smutbert,
danke für die Anmerkungen. Mir war nicht klar, dass ein Dateisystem je nach Konfiguration und/oder Hardware einen Einfluss auf Dateigrößen und benötigten Festplattenspeicher haben kann. Die logische Konsequenz ist also: Die Dateigröße anzuschauen bringt nichts, um ein gelungenes Update festzustellen.
Diese Konfiguration der Optionen laufen alle im Hintergrund oder könnte ich da dran rumspielen - also theoretisch.
Bei mir ist die Grafik korrekt zu sehen mit den zwei Eigenschaften-Fenster nebeneinander.
Grüße
Bebbi
danke für die Anmerkungen. Mir war nicht klar, dass ein Dateisystem je nach Konfiguration und/oder Hardware einen Einfluss auf Dateigrößen und benötigten Festplattenspeicher haben kann. Die logische Konsequenz ist also: Die Dateigröße anzuschauen bringt nichts, um ein gelungenes Update festzustellen.
Diese Konfiguration der Optionen laufen alle im Hintergrund oder könnte ich da dran rumspielen - also theoretisch.
Bei mir ist die Grafik korrekt zu sehen mit den zwei Eigenschaften-Fenster nebeneinander.
Grüße
Bebbi
Re: 1:1 kopierter Order hat mimimal andere Größe
Hallo,
ich habe mir das mit ein bisschen Abstand nochmal durchgelesen und noch ein paar kleine Rückfragen.
Verstehe ich euch richtig, dass ich statt
besser
nehme, weil dann auch noch was anderes geprüft wird? Bei der ausführlichen Beschreibung bei ubuntuusers kann ich nichts entnehmen, was da anders passieren soll.
Am Ende war von Speicher die Rede.
Grüße
Bebbi
ich habe mir das mit ein bisschen Abstand nochmal durchgelesen und noch ein paar kleine Rückfragen.
Verstehe ich euch richtig, dass ich statt
Code: Alles auswählen
cp -Raduvf <Quelle> <Ziel>
Code: Alles auswählen
rsync -av /pfad/nach/ort1/ /pfad/nach/ort2/
Am Ende war von Speicher die Rede.
uname hat geschrieben:Für welche Dateisysteme muss man eigentlich heute noch nach "cp" bzw. "rsync" sicherheitshalber "sync" laufen lassen, um den Speicher-Cache zu schreiben (also ähnlich das sichere Entfernen bei Windows)?
Ich bin nicht so der Hardware-Experte, daher muss ich da mal nachfragen. Es geht sicherlich um den Arbeitsspeicher, in dem die Daten beim Kopieren zwischengespeichert sind. Das da die Daten noch bleiben könnten, wenn sie schon geschrieben sind, ist ja auch noch plausibel für mich. Aber was hat das mit der Größe auf der Festplatte i. S. von dem dauerhaften Speicher zu tun?sys_op hat geschrieben:sync hat meiner Meinung nach nichts mit dem Dateisystem selbst zu tun, es geht doch mehr um jene Dateien, die sich eventuell noch im buffer im Ram befinden.
Grüße
Bebbi