1:1 kopierter Order hat mimimal andere Größe

Du hast Probleme mit Deinem eMail-Programm, Webbrowser oder Textprogramm? Dein Lieblingsprogramm streikt?
Antworten
Bebbi
Beiträge: 172
Registriert: 21.11.2014 23:55:14

1:1 kopierter Order hat mimimal andere Größe

Beitrag von Bebbi » 03.10.2015 01:06:14

Hallo,

ich habe zur Datensicherung mit cp ganz einfach den Daten-Ordner von der Daten-Partition für Windows auf eine externe Festplatte kopiert. Beide Partitionen sind NTFS. Wenn ich mir die Ordner-Infos anzeigen lasse, sehe ich, dass es - im Gegensatz zum Kopieren unter Windows - gleich viele Dateien sind, die fast die gleiche Größe zusammen haben.

Bild
Rechts: Quelle, Links: Ziel

1) Aber wieso sind die Differenzen bei Gesamtgröße bzw. Größe auf Datenträger deutlich anders?

2) Und warum gibt es bei gleichem Dateisystemformat (NTFS) überhaupt einen Unterschied? Das es bei unterschiedlichen Dateisystemformaten einen Unterschied gibt, wird ja vielerorts - auch hier im Forum - erklärt, hierzu fand ich aber nichts.

Grüße

Bebbi

reba
Beiträge: 536
Registriert: 27.06.2011 08:59:37

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von reba » 03.10.2015 07:18:26

Quell- und Zielplatte sind nicht gleich
https://de.m.wikipedia.org/wiki/Festplattengeometrie

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von rendegast » 03.10.2015 08:56:30

Ist der Verschnitt durch die Blöcke.
Auf einem Standard-extfs belegt eine 3kB-Datei einen 4kB-Block,
eine 10kB-Datei auf 3 4kB-Blöcke = 12kB.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

r4pt0r
Beiträge: 1237
Registriert: 30.04.2007 13:32:44
Lizenz eigener Beiträge: MIT Lizenz

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von r4pt0r » 03.10.2015 17:00:40

Windows hat wahrscheinlich seine diversen temporären- und template-Daten mit denen es alle Dateisysteme verseucht nicht mitkopiert, daher der Unterschied in der Anzahl der Dateien.
Sollte das gewünscht sein (bei Netzlaufwerken will man eigentlich eher verhindern dass die überhaupt erst angelegt werden...), bzw immer wenn wirklich eine 1:1 Kopie inkl aller Dateiattributen/berechtigungen gewünscht ist, sollt man nicht per cp sondern per rsync -a kopieren... (-> Datum für "Letzte Berechtigungsänderung in den Screenshots)

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von rendegast » 03.10.2015 17:34:14

Hat vielleicht mit automatisch komprimierten Dateien unter windows zu tun,
die beim Kopieren dekomprimiert werden.
-> Einstellung zum (Desktop-)Aufräumen
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

Bebbi
Beiträge: 172
Registriert: 21.11.2014 23:55:14

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von Bebbi » 14.10.2015 21:12:29

Hallo zusammen,
danke für die zahlreichen Antworten.
reba hat geschrieben:Quell- und Zielplatte sind nicht gleich
https://de.m.wikipedia.org/wiki/Festplattengeometrie
und
rendegast hat geschrieben:Ist der Verschnitt durch die Blöcke.
Auf einem Standard-extfs belegt eine 3kB-Datei einen 4kB-Block,
eine 10kB-Datei auf 3 4kB-Blöcke = 12kB.
Müssten dann nicht die Abweichungen größer sein? Es sind aber beides eh NTFS-Partitionen,m wie geschrieben.
r4pt0r hat geschrieben:Windows hat wahrscheinlich seine diversen temporären- und template-Daten mit denen es alle Dateisysteme verseucht nicht mitkopiert, daher der Unterschied in der Anzahl der Dateien.
Sollte das gewünscht sein (bei Netzlaufwerken will man eigentlich eher verhindern dass die überhaupt erst angelegt werden...), bzw immer wenn wirklich eine 1:1 Kopie inkl aller Dateiattributen/berechtigungen gewünscht ist, sollt man nicht per cp sondern per rsync -a kopieren... (-> Datum für "Letzte Berechtigungsänderung in den Screenshots)
Wie geschrieben, habe ich unter Debian kopiert und nicht unter Windows. Deshalb ist die Anzahl ja auch gleich groß. Unter Windows ist da in der Regle nicht der Fall, was an solchen Dateien liegen mag.

Grüße

Bebbi

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von rendegast » 14.10.2015 23:00:06

Bebbi hat geschrieben: Müssten dann nicht die Abweichungen größer sein? Es sind aber beides eh NTFS-Partitionen,m wie geschrieben.
Da bitte ich um Klärung.
Ich sehe oben nur eine Dateisysteminformation.

Darin sind
Gesamtgröße ....
Größe_auf_Datenträger ...
angezeichnet, und unterscheiden sich um ~ 400MB, bei ~ 620GB gesamt.

Ich bin also davon ausgegangen, daß es sich um diesen Größenunterschied dreht.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

Bebbi
Beiträge: 172
Registriert: 21.11.2014 23:55:14

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von Bebbi » 15.10.2015 00:31:08

Ja, darum ging es mir. Das sind <0,1% also nicht viel. Aber trotzdme gibt es bei gleichen Dateisystem und gleichen Dateien eben diesen Unterschied. Wenn ich den verlinken Artikel richtig verstehe,arbeiten alle Festplatten nach dem gleichen Prinzip - sind beide aus den letzten Jahren, beides HHD.

wanne
Moderator
Beiträge: 7447
Registriert: 24.05.2010 12:39:42

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von wanne » 15.10.2015 08:55:47

Bebbi hat geschrieben:2) Und warum gibt es bei gleichem Dateisystemformat (NTFS) überhaupt einen Unterschied?
Nur weil beide Dateisysteme NTFS heißen, sind die absolut nicht gleich. Ein aktuelles NTFS hat gefühlt ein paar tasusen Optionen, die unterschiedlich sein können. Hängt davon ab mit was du wie formatiert hast und eben vor allem von der Festplatte. Außerdem wie das NTFS gerade befüllt ist und mit was du drauf schreibst. Ext4 kann beispielsweise kleine Daten schon im Block für die Metadaten schreiben. ext3 kann das noch nicht. Und ob das von deinem Treber auch genutzt wird, weißt du auch nicht. Und ext ist im vergelich zu deinem NTFS noch ein extrem primitives Dateisystem.
rot: Moderator wanne spricht, default: User wanne spricht.

Benutzeravatar
smutbert
Moderator
Beiträge: 8313
Registriert: 24.07.2011 13:27:39
Wohnort: Graz

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von smutbert » 15.10.2015 12:18:22

Selbst wenn es ein- und dasselbe Dateisystem mit denselben Optionen und derselben Blockgröße handelt können sich Unterschiede ergeben, denke ich zumindest. So fassen vielleicht manche Dateisysteme mehrere Dateien zusammen, damit der Speicherplatz effizienter genutzt wird oä.
So etwas wird aber kaum zwei Mal auf genau die gleiche Art und Weise passieren, etwa weil die Dateien in einer anderen Reihenfolge geschrieben wurde, der freie Speicherplatz anders verteilt ist,… solche Dinge können zumindest die Diskrepanz der "Größe auf Datenträger" zwischen den beiden Kopien erklären.
Bei der "Gesamtgröße der Dateien" bin ich mir unsicher, wie es zum Unterschied kommt, aber geringfügige Abweichungen sind auch meiner Erfahrung nach vollkommen normal.

Wenn es mir besonders wichtig ist, dass das 2 Kopien identisch sind, lasse ich die Prüfsummen berechnen und vergleichen. Einige Vorschläge dazu gibt es hier
http://www.commandlinefu.com/commands/v ... r-contents
http://unix.stackexchange.com/questions ... as-one-sum

rendegast hat geschrieben:Da bitte ich um Klärung.
Ich sehe oben nur eine Dateisysteminformation.
Wurde der Screenshot im Forum vielleicht abgeschnitten?
gallery/image.php?album_id=1&image_id=246
(da sind zwei Eigenschaften-Dialoge nebeneinander von nautilus, caja oder nemo)

uname
Beiträge: 12044
Registriert: 03.06.2008 09:33:02

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von uname » 15.10.2015 13:12:44

Weiß jemand ob "cp" überhaupt die Datenintegrität beim Kopieren prüft? Vielleicht wurden Dateien ja fehlerhaft kopiert. Man könnte mal Debianrsync bemühen und schauen was passiert:

Code: Alles auswählen

rsync -av /pfad/nach/ort1/ /pfad/nach/ort2/
Wichtig: beide Pfade mit Slash beenden, damit nur Inhalte kopiert werden.
Könnte einige Minuten dauern. Kopiert werden nur Abweichungen. Durchführung auf eigene Gefahr.
Poste die vollständige Ausgabe. Sollte ja eigentlich keine Dateien enthalten ;-)

wanne
Moderator
Beiträge: 7447
Registriert: 24.05.2010 12:39:42

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von wanne » 15.10.2015 13:21:46

uname hat geschrieben:Weiß jemand ob "cp" überhaupt die Datenintegrität beim Kopieren prüft?
Nein. Tut es nicht. Aber wie schon mehrfach gesagt: Es solch minimale Abweichungen sind völlig normal. Die können auch gehörig größer ausfallen.
rot: Moderator wanne spricht, default: User wanne spricht.

uname
Beiträge: 12044
Registriert: 03.06.2008 09:33:02

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von uname » 15.10.2015 13:25:33

Auch wenn minimale Abweichungen normal sind, lassen sich Übertragungsfehler wohl nicht ausschließen. Wenn die Daten jedoch unwichtig sind ist es natürlich egal.

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von rendegast » 15.10.2015 13:35:52

smutbert hat geschrieben: Wurde der Screenshot im Forum vielleicht abgeschnitten?
....
(da sind zwei Eigenschaften-Dialoge nebeneinander von nautilus, caja oder nemo)
Genau so war es,
auf meinem remote-Monitor 1024x768 sehe ich exakt nur den linken,
auf dem etwas größeren Desktop ist der rechte dann bis zu
...
Dateityp
Anzahl d
Gesamtg
...
zu sehen.
Danke für den Hinweis.



Wenn der linke "Daten"
Gesamt 669.380.708.929
aufPlatte 669.749.963.264
die Kopie ist von "HHD-Windows1"
Gesamt 669.380.709.313
aufPlatte 669.283.584.000 ( aufPlatte weniger als Gesamt! )
Da ist wohl die embedded Komprimierung von MS-ntfs eine Erklärung.

Die 400Byte bei der Gesamtgröße?
Vielleicht auch die embedded Komprimierung, deren Metadaten unter MS-ntfs.




Hier ein Verzeichnis windows(ntfs-3g):

Code: Alles auswählen

# du -skc ReinstallBackups/0006/*
452     ReinstallBackups/0006/DriverFiles
452     total
# du -skc ReinstallBackups/0006/DriverFiles/*
36      ReinstallBackups/0006/DriverFiles/NVCOI.DLL
284     ReinstallBackups/0006/DriverFiles/idecoi.dll
12      ReinstallBackups/0006/DriverFiles/nvata.PNF
12      ReinstallBackups/0006/DriverFiles/nvata.cat
4       ReinstallBackups/0006/DriverFiles/nvata.inf
100     ReinstallBackups/0006/DriverFiles/nvata.sys
448     total
die Kopie auf /tmp:

Code: Alles auswählen

# du -skc ReinstallBackups/0006/*
448     ReinstallBackups/0006/DriverFiles
448     total
# du -skc ReinstallBackups/0006/DriverFiles/*
36      ReinstallBackups/0006/DriverFiles/NVCOI.DLL
284     ReinstallBackups/0006/DriverFiles/idecoi.dll
12      ReinstallBackups/0006/DriverFiles/nvata.PNF
12      ReinstallBackups/0006/DriverFiles/nvata.cat
4       ReinstallBackups/0006/DriverFiles/nvata.inf
100     ReinstallBackups/0006/DriverFiles/nvata.sys
448     total

Code: Alles auswählen

# du -skc System\ Volume\ Information/
636370  System Volume Information/
636370  total

# du -skc System\ Volume\ Information/
865124  System Volume Information/
865124  total
ersteres ist auf dem MS-ntfs, zweiteres die Kopie auf /tmp.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

wanne
Moderator
Beiträge: 7447
Registriert: 24.05.2010 12:39:42

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von wanne » 15.10.2015 15:49:30

uname hat geschrieben:Auch wenn minimale Abweichungen normal sind, lassen sich Übertragungsfehler wohl nicht ausschließen. Wenn die Daten jedoch unwichtig sind ist es natürlich egal.
Es gibst schon einen Grund warum cp das nicht macht: Die Festplatte prüft die Daten vor dem Senden und SATA hat Fehlerkorrektur. Gibt einfach keine oder kaum Szenarien, wo da was schief gehen kann. Du hast da in etwa Wahrscheinlichkeiten von einem Lotto Gewinn, dass da was kaputt geht. Wenn kann da eigentlich nur irgend was in der HD intern kaputt sein. (Also nicht der speicher an sich sondern irgend was anderes.) Wie die SSDs, die es geschafft haben mehrere Daten auf der gleichen stelle zu speichern (und so natürlich überschrieben haben). Und dann merkst du das beim überprüfen auch nicht, weil du erstmal nur aus dem Cache ließt. Die Dateigrößenänderung wird bei vielen Dateien mehr oder minder IMMER passieren gibt also gar keine Hinweise auf irgend was.
Problematischer ist das wenn du USB-Sticks benutzt. Wenn da der Controller einen Schuss hat, bekommst du ganz gerne mal falsche Daten.
Aber auch da brauchst du zum prüfen erstmal mindestens ein sync und eigentlich muss man nochmal ein paar MiB hinterherschieben um eventuelle Caches zu eliminieren.
rot: Moderator wanne spricht, default: User wanne spricht.

uname
Beiträge: 12044
Registriert: 03.06.2008 09:33:02

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von uname » 15.10.2015 15:55:27

Für welche Dateisysteme muss man eigentlich heute noch nach "cp" bzw. "rsync" sicherheitshalber "sync" laufen lassen, um den Speicher-Cache zu schreiben (also ähnlich das sichere Entfernen bei Windows)? Wäre ja auch noch eine Fehlerquelle wobei dann das Ziel eigentlich weniger Daten enthalten sollte als die Quelle.

Benutzeravatar
sys_op
Beiträge: 672
Registriert: 17.09.2007 19:10:47
Lizenz eigener Beiträge: GNU General Public License

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von sys_op » 15.10.2015 15:57:24

Bebbi hat geschrieben: Müssten dann nicht die Abweichungen größer sein? Es sind aber beides eh NTFS-Partitionen,m wie geschrieben.
Nein, nicht zwangsläufig, eine Datei die 4 Blöcke belegt wird mit 4 Blöcken gerechnet, der Unterschied entsteht nur durch die Dateien, die einen Block zwar reservieren, aber nicht ausfüllen.

sync hat meiner Meinung nach nichts mit dem Dateisystem selbst zu tun, es geht doch mehr um jene Dateien, die sich eventuell noch im buffer im Ram befinden.
gruss sys;-)

Bebbi
Beiträge: 172
Registriert: 21.11.2014 23:55:14

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von Bebbi » 16.10.2015 00:07:36

Hallo wanne und smutbert,

danke für die Anmerkungen. Mir war nicht klar, dass ein Dateisystem je nach Konfiguration und/oder Hardware einen Einfluss auf Dateigrößen und benötigten Festplattenspeicher haben kann. Die logische Konsequenz ist also: Die Dateigröße anzuschauen bringt nichts, um ein gelungenes Update festzustellen.

Diese Konfiguration der Optionen laufen alle im Hintergrund oder könnte ich da dran rumspielen - also theoretisch.


Bei mir ist die Grafik korrekt zu sehen mit den zwei Eigenschaften-Fenster nebeneinander.

Grüße

Bebbi

Bebbi
Beiträge: 172
Registriert: 21.11.2014 23:55:14

Re: 1:1 kopierter Order hat mimimal andere Größe

Beitrag von Bebbi » 31.01.2016 01:33:06

Hallo,

ich habe mir das mit ein bisschen Abstand nochmal durchgelesen und noch ein paar kleine Rückfragen.

Verstehe ich euch richtig, dass ich statt

Code: Alles auswählen

cp -Raduvf <Quelle> <Ziel>
besser

Code: Alles auswählen

rsync -av /pfad/nach/ort1/ /pfad/nach/ort2/
nehme, weil dann auch noch was anderes geprüft wird? Bei der ausführlichen Beschreibung bei ubuntuusers kann ich nichts entnehmen, was da anders passieren soll.

Am Ende war von Speicher die Rede.
uname hat geschrieben:Für welche Dateisysteme muss man eigentlich heute noch nach "cp" bzw. "rsync" sicherheitshalber "sync" laufen lassen, um den Speicher-Cache zu schreiben (also ähnlich das sichere Entfernen bei Windows)?
sys_op hat geschrieben:sync hat meiner Meinung nach nichts mit dem Dateisystem selbst zu tun, es geht doch mehr um jene Dateien, die sich eventuell noch im buffer im Ram befinden.
Ich bin nicht so der Hardware-Experte, daher muss ich da mal nachfragen. Es geht sicherlich um den Arbeitsspeicher, in dem die Daten beim Kopieren zwischengespeichert sind. Das da die Daten noch bleiben könnten, wenn sie schon geschrieben sind, ist ja auch noch plausibel für mich. Aber was hat das mit der Größe auf der Festplatte i. S. von dem dauerhaften Speicher zu tun?

Grüße

Bebbi

Antworten