Wieviel Datenspeicher habt ihr?

Smalltalk
Antworten
inne
Beiträge: 3273
Registriert: 29.06.2013 17:32:10
Lizenz eigener Beiträge: GNU General Public License
Kontaktdaten:

Wieviel Datenspeicher habt ihr?

Beitrag von inne » 05.02.2019 07:02:51

Hallo,

ich habe nach suchen nun die Password Collection #1 und #2 - #5 gefunden. Fast 400GB gepackt! Auch Sammlungen wie cowpatty/randerman sind locker mal 30 GB gepackt. Das muss dann auch entpackt (und durchgetestet werden - Zeit).

Nun interessiert mich mal speichert ihr so etwas und eigentlich will ich nur wissen wie viel Datenspeicher habt für so Nutzerdaten?

Ich habe z.Z. 2 TB für eine Windows Installation mit Spielen und allem Möglichen anderen Kram und 1 TB für Linux und einem Windows im Multiboot. Bei mir ist das nicht so scharf getrennt.

Und Ansonsten habe ich viele Sachen auf DVD-DL gebrannt eine 50er Spindel (Warum DVD? Der Polsprung steht bevor! Daher besser keine Magnetischen Speichermedien) und einiges ist mit auf der Linux Installation wie eine Handvoll Filme und Serien und Musik sonst bin ich vom Filesharing und Sammeln abgekommen.

Benutzeravatar
Meillo
Moderator
Beiträge: 8782
Registriert: 21.06.2005 14:55:06
Wohnort: Balmora
Kontaktdaten:

Re: Wieviel Datenspeicher habt ihr?

Beitrag von Meillo » 05.02.2019 09:55:29

inne hat geschrieben: ↑ zum Beitrag ↑
05.02.2019 07:02:51
ich habe nach suchen nun die Password Collection #1 und #2 - #5 gefunden. Fast 400GB gepackt!
Es waere besser, wenn sie 400TB gross waere. Nicht nur, dass die Angreifer dann mehr Speicher brauchen, sondern es waere auch mehr Noise drin, was die Erfolgsquote verschlechtert. Aber nun gut ...
Das muss dann auch entpackt (und durchgetestet werden - Zeit).
Manche Kompressionsverfahren kann man auch on-the-fly dekomprimieren, siehe z.B. zgrep(1). Es braucht dann zwar immer noch lange, aber du kannst dein Passwort darin suchen, ohne die Dateien dekomprimieren zu muessen.

Nun interessiert mich mal speichert ihr so etwas und eigentlich will ich nur wissen wie viel Datenspeicher habt für so Nutzerdaten?
Speichern tu ich so unfassbar riesige Daten nicht (bei meiner Leitung muesste ich dafuer auch laaaange runterladen). Was ich mir mal gespeichert habe war eine dagegen verhaeltnismaessig kurze Passwortliste, um ein Gefuehl dafuer zu bekommen.

An Nutzdaten habe ich rund 2,5 TB. Wie zu erwarten, nehmen Multimedia-Daten den meisten Platz weg. Die wirklich wichtigen Daten sind viel weniger.
Use ed once in a while!

inne
Beiträge: 3273
Registriert: 29.06.2013 17:32:10
Lizenz eigener Beiträge: GNU General Public License
Kontaktdaten:

Re: Wieviel Datenspeicher habt ihr?

Beitrag von inne » 05.02.2019 10:45:30

Die 2,5 TB sind etwas weniger als ich habe, wobei viele Rohling auch noch leer sind...

Bei der Datenverarbeitung mit zcat und zgrep muss man vlt. noch wissen, dass die Listen nach Kategorien wie Goods.tar.gz, Shopping.tar.gz, oder Herkunftsland.tar.gz in einzelne Archive unterteilt sind. Das macht es wohl ergonomischer(?) diese Datenmengen zu handeln und entpacken muss man wohl wirklich erst, wenn man damit irgendwelche Tools füttern möchte.

PS: Ich will da nur mal schauen, ob mein Passwort dabei ist und in welches dieser Archive (Das wird wohl noch legal sein?). Das es wohl dabei sein wird weiss ich, denn diese "have i been pwned" Test-Websites kennen es. Die E-Mail anderer Leute interessieren mich wenig (Wikileaks mal ausser vor) und das Thema Cyber Crime wurde beim Chaos Kongress passen mit dem Spruch abgehandelt: Das haben schon Leute die besser sind als du versucht und wurden auch erwischt :mr-green:
PPS: Die Berliner Polizei hat mal einen Betrüger DHL Boten mittels MAC-Adresse gesucht und die Bürger angehalten, doch bitte ihr WLAN-Router-Log danach zu durchsuchen :-)

Benutzeravatar
Paty-17
Beiträge: 230
Registriert: 18.12.2005 17:03:32
Lizenz eigener Beiträge: MIT Lizenz

Re: Wieviel Datenspeicher habt ihr?

Beitrag von Paty-17 » 05.02.2019 10:54:51

Mich interessiert bei sowas nicht der komplette Datensatz, sondern nur meine eigene Adresse bzw. Domain. Über Haveibeenpwned kann man sich nen CSV-Datei für die komplette Domain zukommen lassen, da fehlt aber noch Collection 2-5. Das geht wiederum schon länger beim HPI Identity leak checker, allerdings nur per Email an einzelne Adressen. Beides halte ich für vertrauenswürdig und ausreichend. Dank Passwortverwaltung hab ich eh für jede Seite ein eigenes Passwort und sonst ist es eher interessant als essentiell zu wissen, welche privaten Daten nun sicher schon öffentlich bekannt sind.

Privat hab ich 14TB Kapazität, vernünftig gesichert sind etwa 1 TB. On-site auf externe HDDs und 1x in nen Cloudspeicher. Letzteres nicht versionierend.
inne hat geschrieben: ↑ zum Beitrag ↑
05.02.2019 07:02:51
Und Ansonsten habe ich viele Sachen auf DVD-DL gebrannt eine 50er Spindel (Warum DVD? Der Polsprung steht bevor! Daher besser keine Magnetischen Speichermedien)
Gebrannte DVDs insbesondere DL sind verhältnismäßig empfindlich, insbesondere wenns mal wärmer wird. Der Polsprung ist kein Prozess, bei dem innerhalb von Monaten das Magnetfeld restlos zusammenbricht und alle Elektronik ausgelöscht wird. Selbst wenn das extrem viel schneller kommt. Die Gefahren auf Datenspeicherung halte ich auch für eher gering. Die Feldstärke des Schreibkopfes ist in etwa um nen Faktor 1000 höher als das Erdmagnetfeld, um Daten schreiben zu können. Da kann das noch so turbulent sein, das hat keine direkte Wirkung. Problematischer ist eher externes Zeug, was auf die Erde trifft. Zum einen kann das Spannungen induzieren, was schon jetzt für große Antenne wie Stromnetze problematisch ist, zum anderen ein Plus an ionisierender bzw. energiereicher Strahlung. An ner HDD hängen aber keine großen Antennen. Energiereiche Strahlung ist immer uncool. Ob das die DVD in der Schreibtischschublade so viel besser wegsteckt, mag ich mal bezweifeln.
Auf DVDs zu setzen nur wegen des Erdmagnetfelds, ist in meinen Augen nicht gerechtfertigt.

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Wieviel Datenspeicher habt ihr?

Beitrag von bluestar » 05.02.2019 10:55:46

14 TB Festplatten sind heute nichts außergewöhnliches mehr... Was sind da schon 400GB ?

Benutzeravatar
Meillo
Moderator
Beiträge: 8782
Registriert: 21.06.2005 14:55:06
Wohnort: Balmora
Kontaktdaten:

Re: Wieviel Datenspeicher habt ihr?

Beitrag von Meillo » 05.02.2019 11:00:08

bluestar hat geschrieben: ↑ zum Beitrag ↑
05.02.2019 10:55:46
Was sind da schon 400GB ?
Wie gross ist der Inhalt eigentlich entpackt? Plaintext wird doch sicherlich einen hohen Komprimierungfaktor haben ...
Use ed once in a while!

Benutzeravatar
hikaru
Moderator
Beiträge: 13559
Registriert: 09.04.2008 12:48:59

Re: Wieviel Datenspeicher habt ihr?

Beitrag von hikaru » 05.02.2019 11:12:53

inne hat geschrieben: ↑ zum Beitrag ↑
05.02.2019 07:02:51
Nun interessiert mich mal speichert ihr so etwas und eigentlich will ich nur wissen wie viel Datenspeicher habt für so Nutzerdaten?
Ich habe rund 5TB Nutzdaten.
Davon sind ca. 3TB sicherungswürdig - 1TB private Daten und 2TB beruflich.
inne hat geschrieben: ↑ zum Beitrag ↑
05.02.2019 07:02:51
Warum DVD? Der Polsprung steht bevor! Daher besser keine Magnetischen Speichermedien
Ich bin kein Fachmann, aber die Argumentation halte ich nicht für schlüssig. Das Erdmagnetfeld ist lokal relativ schwach im Vergleich zu anderen Magnetfeldern die wir so im Alltag haben.

Das Erdmagnetfeld hat in Deutschland eine Stärke von etwa 50µT. [1] Die Säkulärvariation liegt bei gut 30nT/Jahr und in dem Rahmen würde ich auch die Änderungsrate bei einem "Polsprung" erwarten.
Aktuelle Herzschrittmacher sollen wohl bis 1mT sicher sein. [2] Zu Festplatten steht da leider nur "unklar". Die Größenordnung für HDDs soll aber wohl bei mehreren hundert mT liegen. [3]

Mit anderen Worten:
Ich bezweifle, dass das Erdmagnetfeld je so stark wird um HDDs zu beeinträchtigen. Und falls es doch so wäre, würdest du es weit vorher daran erkennen, dass um dich herum reihenweise Herzschrittmacher-Träger umfallen.


[1] http://isdc.gfz-potsdam.de/igrf-declination-calculator/
[2] https://www.supermagnete.de/faq/Welchen ... -einhalten
[3] https://superuser.com/questions/568336/ ... -hard-disk

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Wieviel Datenspeicher habt ihr?

Beitrag von MSfree » 05.02.2019 11:16:44

bluestar hat geschrieben: ↑ zum Beitrag ↑
05.02.2019 10:55:46
14 TB Festplatten sind heute nichts außergewöhnliches mehr...
Naja, für 500 Euro pro Platte sind 14TB zumindest außergewöhlich teuer. (36 Euro/TB) :mrgreen:
2 mal 8TB gibt es immerhin schon für 410 Euro (26 Euro/TB).

Die großen Platten lohnen sich vielleicht in Rechenzentren, wo es auf die Speicherkapazität pro Volumen und den Gesamtstromverbrauch ankommt. Im SoHo-Bereich kann man im 24/7-Betrieb mit einer statt zwei Platte vielleicht 15 Euro Strom pro Jahr sparen und das eingesparte Volumen spielt hier überhaupt keine Rolle.
Zuletzt geändert von MSfree am 05.02.2019 11:21:00, insgesamt 1-mal geändert.

inne
Beiträge: 3273
Registriert: 29.06.2013 17:32:10
Lizenz eigener Beiträge: GNU General Public License
Kontaktdaten:

Re: Wieviel Datenspeicher habt ihr?

Beitrag von inne » 05.02.2019 11:17:46

.
Zuletzt geändert von Anonymous am 05.02.2019 12:44:43, insgesamt 2-mal geändert.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Wieviel Datenspeicher habt ihr?

Beitrag von MSfree » 05.02.2019 11:18:50

Meillo hat geschrieben: ↑ zum Beitrag ↑
05.02.2019 11:00:08
bluestar hat geschrieben: ↑ zum Beitrag ↑
05.02.2019 10:55:46
Was sind da schon 400GB ?
Wie gross ist der Inhalt eigentlich entpackt? Plaintext wird doch sicherlich einen hohen Komprimierungfaktor haben ...
Mit verlustfreien Kompressionsverfahren (LZW, bzip...) läßt sich Text mit Faktor 5-10 packen. Entpackt sind das also 2-4TB.

inne
Beiträge: 3273
Registriert: 29.06.2013 17:32:10
Lizenz eigener Beiträge: GNU General Public License
Kontaktdaten:

Re: Wieviel Datenspeicher habt ihr?

Beitrag von inne » 05.02.2019 11:23:17

@hikaru
Stimmt, das Magnetfeld schwächt sich ab und baut sich neu auf - ordnet sich. Und die Atmosphäre schafft es sogar selbst sich gegen Sonnenwinde usw. zu schützen. Das magnetisiert sich selbst, habe ich gelernt. Aber in einer Doku meinte ein Forscher er habe "Angst" vlt. wars auch nur ein Witz in die Kamera. Die Doku war vom ÖR, und schon etwas sachlich gehalten.

inne
Beiträge: 3273
Registriert: 29.06.2013 17:32:10
Lizenz eigener Beiträge: GNU General Public License
Kontaktdaten:

Re: Wieviel Datenspeicher habt ihr?

Beitrag von inne » 05.02.2019 11:56:13

hikaru hat geschrieben: ↑ zum Beitrag ↑
05.02.2019 11:12:53
[2] https://www.supermagnete.de/faq/Welchen ... -einhalten
Absichtliche Löschung: Wenn Sie beabsichtigen, die Daten auf einer Festplatte unwiderruflich zu löschen, ist die Verwendung eines Dauermagneten keine geeignete Methode. Verwenden Sie statt dessen spezielle Lösch-Software, die die Platte mehrfach komplett überschreibt.
HaHa. Traue keinem Aluhut. Eigentlich schade, das es wohl nicht funktioniert :-(

Benutzeravatar
hikaru
Moderator
Beiträge: 13559
Registriert: 09.04.2008 12:48:59

Re: Wieviel Datenspeicher habt ihr?

Beitrag von hikaru » 05.02.2019 12:20:21

inne hat geschrieben: ↑ zum Beitrag ↑
05.02.2019 11:23:17
Aber in einer Doku meinte ein Forscher er habe "Angst" vlt. wars auch nur ein Witz in die Kamera. Die Doku war vom ÖR, und schon etwas sachlich gehalten.
Ich kenne die Doku nicht, aber ich denke, dass sich die Angst auf unsere nach dem Magnetfeld kalibrierte Technik bezog. Sollte das während eines Polsprungs zusammenbrechen bzw. sich so deutlich abschwächen und chaotisch werden, dass Magnetkompasse nicht mehr funktionieren, dann dürfte uns das an einigen Stellen empfindlich treffen weil dann manche Messverfahren nicht mehr funktionieren. Das heißt aber nicht, dass ein fehlendes Magnetfeld direkte Schäden verursacht.

Die Ionosphäre könnte meines Wissens nach für einen geologisch kurzen Zeitraum durchaus ein eigenes Magnetfeld generieren, das ausreicht um die das Leben auf der Erde vor den Sonnenwinden zu schützen. Unser Problem dabei wären in erster Linie Satelliten, welche sich oberhalb der Ionosphäre bewegen und wahrscheinlich auch Stromnetze u.ä., was nicht auf die durch die Sonnenwinde induzierten Feldstärken ausgelegt ist.

inne
Beiträge: 3273
Registriert: 29.06.2013 17:32:10
Lizenz eigener Beiträge: GNU General Public License
Kontaktdaten:

Re: Wieviel Datenspeicher habt ihr?

Beitrag von inne » 05.02.2019 12:45:23

.
Zuletzt geändert von Anonymous am 05.02.2019 13:43:53, insgesamt 1-mal geändert.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Wieviel Datenspeicher habt ihr?

Beitrag von Lord_Carlos » 05.02.2019 13:15:41

Da man heutzutage 8TB fuer ~150 EUR bekommt geht das ja jetzt fix mit zweistelligen TB. In Amerika kann man sogar 10TB fuer ~170 USD bekommen.

Code: Alles auswählen

Filesystem             Size  Used Avail Use% Mounted on
raid                   22T   13T  9.4T  57% /media/raid
/dev/mapper/yyy        1.8T  475G  1.3T  28% /media/yyy
Bis jetzt nur mit einer HDD als Parity.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

ChoMar
Beiträge: 1184
Registriert: 26.01.2004 19:51:47
Kontaktdaten:

Re: Wieviel Datenspeicher habt ihr?

Beitrag von ChoMar » 05.02.2019 13:35:15

Ich hab vor kurzem mein selbstgebautes NAS ausgemustert und eins gekauft. Hab jetzt 10 TB. Das größte sind Screencaptures, die ich gerne mal unkomprimiert aufzeichne. (Aufzeichnen und bearbeiten auf NVMe, wenn ich fertig bin kommen die Originale aufs NAS.)
Ansonsten, HDDs sind nicht wirklich billiger geworden in den letzten Jahren (Preis pro TB) - wo gibts die 8 TB für 150€? Und sie sind unangenehm laut. Das mit der Heliumfüllung scheint auch nur begrenzt zu überzeugen.
Die Technologie scheint ziemlich EOL zu sein.
Linux und Windows laufen bei mir zusammen. Ich zocke halt gerne.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Wieviel Datenspeicher habt ihr?

Beitrag von Lord_Carlos » 05.02.2019 14:14:22

ChoMar hat geschrieben: ↑ zum Beitrag ↑
05.02.2019 13:35:15
wo gibts die 8 TB für 150€? Und sie sind unangenehm laut. Das mit der Heliumfüllung scheint auch nur begrenzt zu überzeugen.
Die Technologie scheint ziemlich EOL zu sein.
Die Preisvergleichseite CamelCamelCamel ist leider gerade down (Wegen Festplatten Ausfall haha) aber ich kann dir aus Erfahrung sagen das die WD My Book regelmaessig auf 150 oder 160 EUR sinkt: https://www.amazon.de/gp/product/B01LWVT81X/
Da sind WD WhiteLabel drinne. Viele meinen die sind direct vergleichbar mit WD Red, nur das man kein strom auf der 3.3V Linie haben darf und man tler beim starten aktvieren muss. (Wenn gewuenscht)
Ob das jetzt genau 100% WD Red mit anderen Label sind, oder die beim internen testen bei WD schlechtere Ergebnisse hatten? Weis keiner genau. Aber sehr sehr viele benutzten die in ihren Hobby NAS. WD Red 230 EUR, WhiteLabel 160 EUR. 70 EUR, muss man halt selber wissen ob einen die Unsicherheit dies wert ist. Kaust du zwei, hast du fast eine Gratis, fuer backup oder Parity :D

WD 8TB sind unter last etwas lauter als vorige versionion: https://support.wdc.com/knowledgebase/a ... x?ID=15108

Gibt auch manchmal Externe HDDs von Seagate fuer ~150 EUR. Aber das sind dann meist SMR drives. Kann man auch benutzten, muss man aber vorher wissen ob das mit den eigenen Anspreuchen uebereinstimmt.

Fuer 220 EUR kann man "richtige" interne NAS drives von Seagate kaufen. Die sind aber lauter, weil 7200RPM.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

inne
Beiträge: 3273
Registriert: 29.06.2013 17:32:10
Lizenz eigener Beiträge: GNU General Public License
Kontaktdaten:

Re: Wieviel Datenspeicher habt ihr?

Beitrag von inne » 12.03.2019 18:31:36

Meillo hat geschrieben: ↑ zum Beitrag ↑
05.02.2019 11:00:08
bluestar hat geschrieben: ↑ zum Beitrag ↑
05.02.2019 10:55:46
Was sind da schon 400GB ?
Wie gross ist der Inhalt eigentlich entpackt? Plaintext wird doch sicherlich einen hohen Komprimierungfaktor haben ...
inne hat geschrieben: Fast 400GB gepackt!
Ich habe mal die README heruntergeladen.
README hat geschrieben: The total size of the uncompressed contents is 847GB. To search, please consider a command such as:
zgrep -a "my@example.com" *.gz
Und
README hat geschrieben: The following folders are missing [...]
This totals 98.82GB of missing content out of 945GB. However, most of it will be duplicates.
(Die GB-Angaben sind hier aber wohl auch entpackt.)

Antworten