dm-crypt mit SMP (Dual Core Prozessoren)
dm-crypt mit SMP (Dual Core Prozessoren)
Hallo lieber Leser!
Ich habe seit einiger Zeit ein INTEL D945GCLF2D mit Atom330 Prozessor am laufen. Die gesammte Platte ist mit dm-crypt verschlüsselt. Allerdings musste ich bald feststellen, dass mein Dual Core gar nicht voll genutzt wird beim AES586-Kernel-Modul. Nach einer Recherche habe ich folgende Lösung gefunden, die mir aber nicht wirklich gefällt. http://atom330.iuselinux.net/maximise-dm-crypt
Meine Frage ist gibt es eine Möglichkeit alle Prozessorkerne für das AES-Modul zu nutzen? Ist das überhaupt möglich oder für zukünftige Kernel Versionen geplant?
Gruß
manticore
Ich habe seit einiger Zeit ein INTEL D945GCLF2D mit Atom330 Prozessor am laufen. Die gesammte Platte ist mit dm-crypt verschlüsselt. Allerdings musste ich bald feststellen, dass mein Dual Core gar nicht voll genutzt wird beim AES586-Kernel-Modul. Nach einer Recherche habe ich folgende Lösung gefunden, die mir aber nicht wirklich gefällt. http://atom330.iuselinux.net/maximise-dm-crypt
Meine Frage ist gibt es eine Möglichkeit alle Prozessorkerne für das AES-Modul zu nutzen? Ist das überhaupt möglich oder für zukünftige Kernel Versionen geplant?
Gruß
manticore
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Hallo!
http://git.kernel.org/?p=linux/kernel/g ... 20492c9dab
mfg pluvo
Seit dem Kernel 2.6.30 ist das drin:manticore hat geschrieben:Ist das überhaupt möglich oder für zukünftige Kernel Versionen geplant?
http://git.kernel.org/?p=linux/kernel/g ... 20492c9dab
mfg pluvo
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Hallo pluvo!
Danke für die schnelle Antwort. Da werde ich mal sehen den Kernel installiert zu bekommen.
Gruß
manticore
Danke für die schnelle Antwort. Da werde ich mal sehen den Kernel installiert zu bekommen.
Gruß
manticore
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Also ich habe den Kernel 2.6.30 aus dem unstable Zweig installiert. Dort ist die Option CONFIG_CRYPTO_WORKQUEUE und CONFIG_CRYPTO_CRYPTD aktiviert und muss leider sagen, dass es fast nichts bringt. Es sind auf keinen Fall die angegeben 19%, wenn überhaupt vielleicht 10% beim schreiben.
Zu der Option CONFIG_CRYPTO_CRYPTD steht in der Kernel-Beschreibung folgendes.
Gibt es weitere Entwicklungen die eine bessere Ausnutzung der CPUs anstreben?
Wenn ich htop laufen lasse, sehe ich die einzelnen CPUs und es ist wieder so, dass eine bei 100% steht und die andere zwischen 20-40%. Was bedeutet, dass kcryptd wieder nur auf einer CPU ausgeführt wird.Testing based on dm-crypt on an Intel Core 2 E6400 (two cores) machine shows 19.2% performance gain.
Zu der Option CONFIG_CRYPTO_CRYPTD steht in der Kernel-Beschreibung folgendes.
Kann es sein, dass dm-crypt damit einfach nicht klar kommt? In einen anderen Entwicklerforum wurde aber auch geschrieben, dass dm-crypt nicht wissen will wie die Hardware bzw. die Verschlüsselung aussieht. Das greift auf die Kernel-API zu und gut ist.This is a generic software asynchronous crypto daemon that converts an arbitrary synchronous software crypto algorithm into an asynchronous algorithm that executes in a kernel thread.
Gibt es weitere Entwicklungen die eine bessere Ausnutzung der CPUs anstreben?
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Sieht wohl so aus.manticore hat geschrieben:Kann es sein, dass dm-crypt damit einfach nicht klar kommt?
Schade eigentlich. Selbst in Notebooks sind mehrere CPU-Kerne keine Seltenheit mehr.
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Hallo!
Es scheint sich etwas zu tun. Denn seit Mai existiert ein Patch, welches dieses Problem beheben soll. Dann ist nun noch ein zweites Patch hinzugekommen. Leider habe ich noch nicht so viel Zeit gehabt das zu testen und beim patchen habe ich wohl einen Fehler gemacht. Jedenfalls hatte der erste Test nur beim schreiben ein Geschwindigkeitsvorteil gebracht, von ~21MB/s auf ~29MB/s mit AES-Verschlüsselung (Kernel 2.6.34). Das lesen hatte keine Veränderung gebracht und deswegen vermute ich, dass beim patchen etwas schief gegangen ist.
Wenn das jemand ausprobieren sollte, wäre eine Rückmeldung hier nicht schlecht. Ich persönlich kann aber leider nicht einschätzen wie stabil das ganze läuft. Es hat sich eigentlich nur etwas an der Verteilung der crypto workqueue auf mehrer Threads geändert. Beim schreiben auf den Datenträger sollten also keine Fehler passieren.
Mein letzter Versuch war mit dem Kernel 2.6.35-rc6 und beiden Patches. Ich habe nur einen Fehler bekommen beim patchen, bei den wohl schon eine neue Methode vorhanden war. Leider konnte er die Volumegroup bzw. die verschlüsselte Partition beim booten nicht finden. Weitere Tests kann ich aber erst in ca. 4 Wochen wieder durchführen.
Beide Patches müssen hintereinander eingespielt werden:
http://marc.info/?l=linux-kernel&m=127532188803414&w=4
https://patchwork.kernel.org/patch/112656/
Viele Grüße
manticore
Es scheint sich etwas zu tun. Denn seit Mai existiert ein Patch, welches dieses Problem beheben soll. Dann ist nun noch ein zweites Patch hinzugekommen. Leider habe ich noch nicht so viel Zeit gehabt das zu testen und beim patchen habe ich wohl einen Fehler gemacht. Jedenfalls hatte der erste Test nur beim schreiben ein Geschwindigkeitsvorteil gebracht, von ~21MB/s auf ~29MB/s mit AES-Verschlüsselung (Kernel 2.6.34). Das lesen hatte keine Veränderung gebracht und deswegen vermute ich, dass beim patchen etwas schief gegangen ist.
Wenn das jemand ausprobieren sollte, wäre eine Rückmeldung hier nicht schlecht. Ich persönlich kann aber leider nicht einschätzen wie stabil das ganze läuft. Es hat sich eigentlich nur etwas an der Verteilung der crypto workqueue auf mehrer Threads geändert. Beim schreiben auf den Datenträger sollten also keine Fehler passieren.
Mein letzter Versuch war mit dem Kernel 2.6.35-rc6 und beiden Patches. Ich habe nur einen Fehler bekommen beim patchen, bei den wohl schon eine neue Methode vorhanden war. Leider konnte er die Volumegroup bzw. die verschlüsselte Partition beim booten nicht finden. Weitere Tests kann ich aber erst in ca. 4 Wochen wieder durchführen.
Beide Patches müssen hintereinander eingespielt werden:
http://marc.info/?l=linux-kernel&m=127532188803414&w=4
https://patchwork.kernel.org/patch/112656/
Viele Grüße
manticore
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Hab ein Xeon der ersten Generation auf Server rennen da Lagt Dm-Crypt auch ( Lenny oder Squezze )
TrueCrypt kommt für mich nicht in Frage da es nicht stabil genug ist und Support gibt es auch nur von Tante Google
Linux Headers bzw wxWidgets kommen mir nicht auf den Server !
Gruss
TrueCrypt kommt für mich nicht in Frage da es nicht stabil genug ist und Support gibt es auch nur von Tante Google
Linux Headers bzw wxWidgets kommen mir nicht auf den Server !
Gruss
You Disapeared In The Darkness Of The Night...
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Hi,
ich bin per google auf diesen Thread gestoßen, wie sicher viele andere auch, die nach dem Thema suchen, daher:
Der Patch scheint weiter gepflegt zu werden, ich habe heute die aktuelle Version (https://patchwork.kernel.org/patch/320702/) mit einem 2.6.37-rc2 ausprobiert und es rockt
Mein Atom (525) hat sich geschwindigkeitstechnisch fast verdoppelt, kommt jetzt auf knapp 60 Mb/s, per nfs auf einen anderen Rechner bleiben dann noch ca. 40 übrig.
Probleme habe ich bisher nicht festgestellt... naja, soweit, falls es für jemand interessant ist. Bleibt zu hoffen, dass der patch bald aufgenommen wird...
ich bin per google auf diesen Thread gestoßen, wie sicher viele andere auch, die nach dem Thema suchen, daher:
Der Patch scheint weiter gepflegt zu werden, ich habe heute die aktuelle Version (https://patchwork.kernel.org/patch/320702/) mit einem 2.6.37-rc2 ausprobiert und es rockt
Mein Atom (525) hat sich geschwindigkeitstechnisch fast verdoppelt, kommt jetzt auf knapp 60 Mb/s, per nfs auf einen anderen Rechner bleiben dann noch ca. 40 übrig.
Probleme habe ich bisher nicht festgestellt... naja, soweit, falls es für jemand interessant ist. Bleibt zu hoffen, dass der patch bald aufgenommen wird...
-
- Beiträge: 6
- Registriert: 22.03.2011 18:40:04
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Mit dem Patch ist meine Write-Performance (von 22MB/s auf 56MB/s) besser geworden.
Read ist deutlich schlechter (40Mb/s -> 20Mb/s)
So sieht der Server aus
Read ist deutlich schlechter (40Mb/s -> 20Mb/s)
Code: Alles auswählen
snas001:/usr/src# hdparm -tT /dev/sdb
/dev/sdb:
Timing cached reads: 1450 MB in 2.00 seconds = 724.84 MB/sec
Timing buffered disk reads: 338 MB in 3.00 seconds = 112.50 MB/sec <--das schafft der 9500(RAID5) am PCI-Bus
snas001:/usr/src# dmesg | grep sdb
[ 3.902946] sd 0:0:0:0: [sdb] 3906207744 512-byte logical blocks: (1.99 TB/1.81 TiB)
[ 3.903724] sd 0:0:0:0: [sdb] Write Protect is off
[ 3.903733] sd 0:0:0:0: [sdb] Mode Sense: 23 00 00 00
[ 3.905235] sd 0:0:0:0: [sdb] Write cache: enabled, read cache: disabled, doesn't support DPO or FUA
[ 3.933161] sdb: unknown partition table
[ 3.935955] sd 0:0:0:0: [sdb] Attached SCSI disk
snas001:/usr/src# dmesg | grep 3ware
[ 2.758963] 3ware 9000 Storage Controller device driver for Linux v2.26.02.014.
[ 3.544021] scsi0 : 3ware 9000 Storage Controller
[ 3.544207] 3w-9xxx: scsi0: Found a 3ware 9000 Storage Controller at 0xfaeffc00, IRQ: 18.
snas001:/usr/src# hdparm -tT /dev/mapper/STORAGE
/dev/mapper/STORAGE:
Timing cached reads: 1402 MB in 2.00 seconds = 700.71 MB/sec
Timing buffered disk reads: 62 MB in 3.03 seconds = 20.47 MB/sec <--- DM-Crypt Device Mapper
snas001:/usr/src#
snas001:~# uname -a
Linux snas001 2.6.37-rc2 #1 SMP Sun Mar 13 17:22:03 CET 2011 i686 GNU/Linux
snas001:~# time dd if=/dev/zero of=/storage/test.zero bs=1024 count=1000000
1000000+0 Datensätze ein
1000000+0 Datensätze aus
1024000000 Bytes (1,0 GB) kopiert, 18,2759 s, 56,0 MB/s <---- hat sich fast verdreifacht !!!
real 0m18.688s
user 0m0.912s
sys 0m12.949s
snas001:~# uname -a
Linux snas001 2.6.37-rc2 #1 SMP Sun Mar 13 17:22:03 CET 2011 i686 GNU/Linux
snas001:~#
- A+ CS-Blockbuster BA Micro o.NT. EUR 52,37
Point of View ION-MB330-1 GeForce 9400 Atom 330 EUR 119,90
CF-to-SATA-Adapter EUR 24,89
Kingston Compact Flash Elite Pro CF 8 GB CF 8GB 133X EUR 21,99
AMCC 3ware 9500S-4LP 4-Ch. SATA RAID 0,1,10, 5 JBOD EUR 75,50
3 x Samsung EcoGreen F2 HD103SI - 1TB 5400rpm EUR 191,70
SATA Backplane Gehäuse 3 Wechselrahmen EUR 59,00
Bundle picoPSU-PW90 für iP4 +80W AC Adapter EUR 79,90
Noiseblocker BlackSilent X1 Rev3 / 80mm Lüfter / 10dB/A EUR 7,90
Alpenfön Ötzi EUR 9,90
Zalman ZM-NB47J EUR 5,00
1GB Corsair XMS2 DDR-2 (Update auf 4GB Mushkin) EUR 0,00
G E S A M T EUR 648,25
Zuletzt geändert von Saxman am 23.03.2011 20:01:13, insgesamt 1-mal geändert.
Grund: Code Tags eingefügt
Grund: Code Tags eingefügt
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Hallo bigschnepper,
versuche doch mal den aktuellen Kernel 2.6.38 in diesen nun das Patch bereits enthalten ist. (Quelle: http://www.kernel.org/pub/linux/kernel/ ... Log-2.6.38 ; Unter: dm crypt: scale to multiple cpus)
Die Entwicklung hat ihr Optimum noch nicht erreicht und ist noch nicht frei von Fehlern (siehe Problem mit mehren dm-crypt Instanzen http://us.generation-nt.com/dm-crypt-pe ... 57872.html). Doch wenn ich mir anschaue, was sich innerhalb von einen Jahr getan hat, muss man eindeutig Verbesserungen feststellen. Das der Patch nun in den Kernel aufgenommen wurde zeigt, dass er auch ausreichend getestet wurde.
Ich habe auch mittlerweile den Algorithmus von aes-cbc-essiv auf aes-xts-plan64 gewechselt. Das ganze hat mir einen kleinen Schub von ~28MB/s auf 36MB/s verschafft. Also ich glaube da gibt es noch viel Potenzial. Aber ich kann den Entwickler verstehen, diese Sachen weiter zu optimieren wird sicherlich sehr Zeitaufwendig sein.
Fast hätte ich es vergessen. Mache den folgenden Test zum schreiben und lesen von 3GB, in die verschlüsselte Partition:
Danach einfach wieder die Test3GB-Datei löschen, die vom dd erstellt wurde.
Mich würde mal interessieren, welche Ergebnisse da rauskommen und ob der 2.6.37-rc2 noch Performance-Unterschiede gegenüber den 2.6.38 zeigt.
Viele Grüße
manticore
versuche doch mal den aktuellen Kernel 2.6.38 in diesen nun das Patch bereits enthalten ist. (Quelle: http://www.kernel.org/pub/linux/kernel/ ... Log-2.6.38 ; Unter: dm crypt: scale to multiple cpus)
Die Entwicklung hat ihr Optimum noch nicht erreicht und ist noch nicht frei von Fehlern (siehe Problem mit mehren dm-crypt Instanzen http://us.generation-nt.com/dm-crypt-pe ... 57872.html). Doch wenn ich mir anschaue, was sich innerhalb von einen Jahr getan hat, muss man eindeutig Verbesserungen feststellen. Das der Patch nun in den Kernel aufgenommen wurde zeigt, dass er auch ausreichend getestet wurde.
Ich habe auch mittlerweile den Algorithmus von aes-cbc-essiv auf aes-xts-plan64 gewechselt. Das ganze hat mir einen kleinen Schub von ~28MB/s auf 36MB/s verschafft. Also ich glaube da gibt es noch viel Potenzial. Aber ich kann den Entwickler verstehen, diese Sachen weiter zu optimieren wird sicherlich sehr Zeitaufwendig sein.
Fast hätte ich es vergessen. Mache den folgenden Test zum schreiben und lesen von 3GB, in die verschlüsselte Partition:
Code: Alles auswählen
dd if=/dev/zero of=Test3GB bs=4k count=750000 && dd if=Test3GB of=/dev/null bs=4k
Mich würde mal interessieren, welche Ergebnisse da rauskommen und ob der 2.6.37-rc2 noch Performance-Unterschiede gegenüber den 2.6.38 zeigt.
Viele Grüße
manticore
-
- Beiträge: 6
- Registriert: 22.03.2011 18:40:04
Re: dm-crypt mit SMP (Dual Core Prozessoren)
hm. ich werd wahrscheinlich bald auf ein i3-540 wechseln. Denke nicht das ich auf dem ATOM330 noch testen kann aber hier mein Output.
Ich könnte evtl. nochmal am WE den vmlinuz-2.6.30-2-686 booten.
Damit man den unterschied sieht.
Code: Alles auswählen
snas001:~# cd /storage/
snas001:/storage# dd if=/dev/zero of=Test3GB bs=4k count=750000 && dd if=Test3GB of=/dev/null bs=4k
750000+0 Datensätze ein
750000+0 Datensätze aus
3072000000 Bytes (3,1 GB) kopiert, 56,6596 s, 54,2 MB/s
750000+0 Datensätze ein
750000+0 Datensätze aus
3072000000 Bytes (3,1 GB) kopiert, 99,2623 s, 30,9 MB/s
snas001:/storage# uname -a
Linux snas001 2.6.37-rc2 #1 SMP Sun Mar 13 17:22:03 CET 2011 i686 GNU/Linux
snas001:/storage# dd if=/dev/zero of=Test3GB bs=4k count=750000 && dd if=Test3GB of=/dev/null bs=4k
750000+0 Datensätze ein
750000+0 Datensätze aus
3072000000 Bytes (3,1 GB) kopiert, 55,1656 s, 55,7 MB/s
750000+0 Datensätze ein
750000+0 Datensätze aus
3072000000 Bytes (3,1 GB) kopiert, 95,1037 s, 32,3 MB/s
snas001:/storage# uname -a
Linux snas001 2.6.37-rc2 #1 SMP Sun Mar 13 17:22:03 CET 2011 i686 GNU/Linux
snas001:/storage#
Damit man den unterschied sieht.
Zuletzt geändert von Saxman am 23.03.2011 20:01:41, insgesamt 1-mal geändert.
Grund: Code Tags eingefügt
Grund: Code Tags eingefügt
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Danke für den Test! Das sieht so aus, als würde da beim lesen nur ein Kern der CPU genutzt. Es kann daran liegen das beim patchen des Kernel etwas nicht sauber gelaufen ist, oder der Patch unvollständig ist. Ich muss dir sagen, dass du im Debian unstable Zweig bereits den Kernel 2.6.38 installieren kannst. Also du hättest damit nur wenig Aufwand bei der Installation. Einfach in der /etc/apt/source.list die Zeile einfügen und du kannst den linux-image in der Version 2.6.38 installieren.
--- geändert ---
Habe eben einen selbst den Test mit Kernel 2.6.38 gemacht und meine genannte Vermutung, dass der Patch noch unvollständig ist kann ich nun bestätigen. Ich habe zuerst einmal das entsprechende Kernel-Modul für die Parallele Verarbeitung in Threads geladen. Ich muss erwähnen, dass dieses Modul noch Experimentell ist und mit entsprechender Vorsicht verwendet werden sollte.
Und der Performance-Test mit dd der erst eine 3GB schreibt und dann wieder ließt:
Es ist ist hier klar erkennbar, dass beim schreiben sich die Geschwindigkeit verdoppelt hat und das beim lesen keine Parallelisierung statt findet.
Viele Grüße
manticore
Code: Alles auswählen
deb http://ftp.de.debian.org/debian unstable main contrib non-free
Habe eben einen selbst den Test mit Kernel 2.6.38 gemacht und meine genannte Vermutung, dass der Patch noch unvollständig ist kann ich nun bestätigen. Ich habe zuerst einmal das entsprechende Kernel-Modul für die Parallele Verarbeitung in Threads geladen. Ich muss erwähnen, dass dieses Modul noch Experimentell ist und mit entsprechender Vorsicht verwendet werden sollte.
Nun das laden des Modules:CONFIG_CRYPTO_PCRYPT: Parallel crypto engine (EXPERIMENTAL)
This converts an arbitrary crypto algorithm into a parallel algorithm that executes in kernel threads.
Code: Alles auswählen
$ modprobe pcrypt
$ lsmod |grep pcrypt
pcrypt 4541 0
Code: Alles auswählen
3072000000 Bytes (3,1 GB) kopiert, 45,538 s, 67,5 MB/s
3072000000 Bytes (3,1 GB) kopiert, 85,7968 s, 35,8 MB/s
Viele Grüße
manticore
-
- Beiträge: 6
- Registriert: 22.03.2011 18:40:04
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Hm bei mir ises ein wenig komisch.
Aber schon krass was so ein Patch auswirken kann, da steckt in vielen Homeservern noch viel mehr als man derzeit akzeptiert.
Naja werde bald auf X8SIL-F mit L3426 und ESXi umsteigen. Den 3ware-RAID will ich mit VMDirectpath auf eine kleine NAS-Instanz weiterleiten.
Aber schon krass was so ein Patch auswirken kann, da steckt in vielen Homeservern noch viel mehr als man derzeit akzeptiert.
Naja werde bald auf X8SIL-F mit L3426 und ESXi umsteigen. Den 3ware-RAID will ich mit VMDirectpath auf eine kleine NAS-Instanz weiterleiten.
Code: Alles auswählen
snas001:/storage# hdparm -tT /dev/mapper/STORAGE
/dev/mapper/STORAGE:
Timing cached reads: 1404 MB in 2.00 seconds = 701.96 MB/sec
Timing buffered disk reads: 62 MB in 3.05 seconds = 20.34 MB/sec
snas001:/storage# hdparm -tT /dev/sdb
/dev/sdb:
Timing cached reads: 1476 MB in 2.00 seconds = 738.03 MB/sec
Timing buffered disk reads: 342 MB in 3.00 seconds = 113.94 MB/sec
snas001:/storage# dd if=/dev/zero of=Test3GB bs=4k count=750000 && dd if=Test3GB of=/dev/null bs=4k
750000+0 Datensätze ein
750000+0 Datensätze aus
3072000000 Bytes (3,1 GB) kopiert, 54,45 s, 56,4 MB/s
750000+0 Datensätze ein
750000+0 Datensätze aus
3072000000 Bytes (3,1 GB) kopiert, 4,03684 s, 761 MB/s
snas001:/storage# dd if=/dev/zero of=Test3GB bs=4k count=750000 && dd if=Test3GB of=/dev/null bs=4k
750000+0 Datensätze ein
750000+0 Datensätze aus
3072000000 Bytes (3,1 GB) kopiert, 58,0804 s, 52,9 MB/s
750000+0 Datensätze ein
750000+0 Datensätze aus
3072000000 Bytes (3,1 GB) kopiert, 3,89647 s, 788 MB/s
snas001:/storage# uname -a
Linux snas001 2.6.38-1-686 #1 SMP Wed Mar 16 17:37:47 UTC 2011 i686 GNU/Linux
snas001:/storage# cat /proc/cpuinfo | grep Atom
model name : Intel(R) Atom(TM) CPU 330 @ 1.60GHz
model name : Intel(R) Atom(TM) CPU 330 @ 1.60GHz
model name : Intel(R) Atom(TM) CPU 330 @ 1.60GHz
model name : Intel(R) Atom(TM) CPU 330 @ 1.60GHz
snas001:/storage# dmesg | grep 3ware
[ 2.380429] 3ware 9000 Storage Controller device driver for Linux v2.26.02.014.
[ 3.052031] scsi0 : 3ware 9000 Storage Controller
[ 3.052257] 3w-9xxx: scsi0: Found a 3ware 9000 Storage Controller at 0xfaeffc00, IRQ: 18.
snas001:/storage#
snas001:/storage# uname -a
Linux snas001 2.6.38-1-686 #1 SMP Wed Mar 16 17:37:47 UTC 2011 i686 GNU/Linux
snas001:/storage#
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Also da muss ich dir zustimmen, dein Ergebnis ist etwas komisch. Da fehlen mir aber die Hintergründe ob dein 3ware Controller vielleicht noch was im Cache gehalten hat. Es ist eh schwierig ordentliche Benchmarks zu machen und dd ist da nicht ganz optimal. Ich denke es wird noch etwas Entwicklungsarbeit nötig sein, bis das auch beim lesen schneller läuft.
-
- Beiträge: 6
- Registriert: 22.03.2011 18:40:04
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Jo der blöde 3ware 9500S,
Wollte gerade einer der 3 - 1TB Platten des RAID5 verbunds durch eine 2TB tauschen.
Was zeigt der Controller an ? Das noch die alte Platte drin wäre und alles ok wäre....
XFS hat das für manche Files auch nicht mehr richtig gepackt
Aber ich war feige und hab ein Backup in der Tasche
Bin froh wenn ich meine ESXi kiste hab. Und alles auf das 3 x 2TB-RAID5 umgezogen hab
Da bekomm ich dann bestimmt 80MB/s mit AES hin.
Wollte gerade einer der 3 - 1TB Platten des RAID5 verbunds durch eine 2TB tauschen.
Was zeigt der Controller an ? Das noch die alte Platte drin wäre und alles ok wäre....
XFS hat das für manche Files auch nicht mehr richtig gepackt
Aber ich war feige und hab ein Backup in der Tasche
Bin froh wenn ich meine ESXi kiste hab. Und alles auf das 3 x 2TB-RAID5 umgezogen hab
Da bekomm ich dann bestimmt 80MB/s mit AES hin.
-
- Beiträge: 6
- Registriert: 22.03.2011 18:40:04
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Hier mal ein Vergleich - Atom330 - 3ware 9500SE - mit 2 x HD204UI - RAID0 - unencrypted
Code: Alles auswählen
snas001:/port1# dd if=/dev/zero of=Test3GB bs=4k count=750000 && dd if=Test3GB of=/dev/null bs=4k
750000+0 Datensätze ein
750000+0 Datensätze aus
3072000000 Bytes (3,1 GB) kopiert, 35,4256 s, 86,7 MB/s
750000+0 Datensätze ein
750000+0 Datensätze aus
3072000000 Bytes (3,1 GB) kopiert, 29,4975 s, 104 MB/s
snas001:/port1# dd if=/dev/zero of=Test3GB bs=4k count=750000 && dd if=Test3GB of=/dev/null bs=4k
750000+0 Datensätze ein
750000+0 Datensätze aus
3072000000 Bytes (3,1 GB) kopiert, 33,3328 s, 92,2 MB/s
750000+0 Datensätze ein
750000+0 Datensätze aus
3072000000 Bytes (3,1 GB) kopiert, 14,7933 s, 208 MB/s
snas001:/port1# dd if=/dev/zero of=Test4GB bs=4k count=750000 && dd if=Test4GB of=/dev/null bs=4k
750000+0 Datensätze ein
750000+0 Datensätze aus
3072000000 Bytes (3,1 GB) kopiert, 33,0829 s, 92,9 MB/s
750000+0 Datensätze ein
750000+0 Datensätze aus
3072000000 Bytes (3,1 GB) kopiert, 30,1928 s, 102 MB/s
snas001:/port1#
-
- Beiträge: 6
- Registriert: 22.03.2011 18:40:04
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Xeon L3426, X8SIL-F, 8GB RAM, 2.6.32-5-xen-amd64, Software-Raid5, unencrypted
Code: Alles auswählen
root@sxen001:/storage# dd if=/dev/zero of=Test3GB bs=4k count=750000 && dd if=Test3GB of=/dev/null bs=4k
750000+0 records in
750000+0 records out
3072000000 bytes (3.1 GB) copied, 15.8233 s, 194 MB/s
750000+0 records in
750000+0 records out
3072000000 bytes (3.1 GB) copied, 0.899903 s, 3.4 GB/s
root@sxen001:/storage#
- Saxman
- Beiträge: 4215
- Registriert: 02.05.2005 21:53:52
- Lizenz eigener Beiträge: MIT Lizenz
- Wohnort: localhost
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Ich würde dich bitten hier näher am Thread Thema zu bleiben. Wenn du Probleme mit deinem Raid Controller hast, eröffne doch einen neuen Thread dazu. Ich lass das hier trotzdem stehen, um keine verstümmelten Threads zu produzieren. Aber wie gesagt, Diskussionen dazu bitte in einem seperaten Thread. Den kannst du hier bei Bedarf ja noch verlinken.bigschnepper hat geschrieben:Xeon L3426, X8SIL-F, 8GB RAM, 2.6.32-5-xen-amd64, Software-Raid5, unencrypted
[...]
Danke
"Unix is simple. It just takes a genius to understand its simplicity." - Dennis Ritchie
Debian GNU/Linux Anwenderhandbuch | df.de Verhaltensregeln | Anleitungen zum Review und zum Verfassen von Wiki Artikeln.
Debian GNU/Linux Anwenderhandbuch | df.de Verhaltensregeln | Anleitungen zum Review und zum Verfassen von Wiki Artikeln.
- Saxman
- Beiträge: 4215
- Registriert: 02.05.2005 21:53:52
- Lizenz eigener Beiträge: MIT Lizenz
- Wohnort: localhost
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Hat sich an der smp/dm-crypt Lage mittlerweile etwas getan? Das Thema ist ja doch sehr interessant..
"Unix is simple. It just takes a genius to understand its simplicity." - Dennis Ritchie
Debian GNU/Linux Anwenderhandbuch | df.de Verhaltensregeln | Anleitungen zum Review und zum Verfassen von Wiki Artikeln.
Debian GNU/Linux Anwenderhandbuch | df.de Verhaltensregeln | Anleitungen zum Review und zum Verfassen von Wiki Artikeln.
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Hallo Saxman,
mein letzter Test mit Kernel 3.0 hat keine Veränderung gezeigt. Das kann es auch gar nicht, weil es offensichtlich niemand gibt der an der Verbesserung der Parallelisierung arbeit. Was momentan gut läuft ist ab Kernel 2.6.38 das schreiben der Daten mit guter Parallelisierung. Allerdings ist das lesen von Daten meiner Meinung nach noch gar nicht parallelisiert oder funktioniert nicht.
Wenn ich noch mal Zeit finde, werde ich mir den aktuellen Code nach den ganzen Patches des Kernel 2.6.38 anschauen. Aber soweit ich mich erinnern kann, war mir das ganze einfach zu kompliziert. Ich konnte nicht wirklich die Methode für das lesen und schreiben der Daten finden. Deswegen hatte ich aufgegeben.
Viele Grüße
manticore
mein letzter Test mit Kernel 3.0 hat keine Veränderung gezeigt. Das kann es auch gar nicht, weil es offensichtlich niemand gibt der an der Verbesserung der Parallelisierung arbeit. Was momentan gut läuft ist ab Kernel 2.6.38 das schreiben der Daten mit guter Parallelisierung. Allerdings ist das lesen von Daten meiner Meinung nach noch gar nicht parallelisiert oder funktioniert nicht.
Wenn ich noch mal Zeit finde, werde ich mir den aktuellen Code nach den ganzen Patches des Kernel 2.6.38 anschauen. Aber soweit ich mich erinnern kann, war mir das ganze einfach zu kompliziert. Ich konnte nicht wirklich die Methode für das lesen und schreiben der Daten finden. Deswegen hatte ich aufgegeben.
Viele Grüße
manticore
- Saxman
- Beiträge: 4215
- Registriert: 02.05.2005 21:53:52
- Lizenz eigener Beiträge: MIT Lizenz
- Wohnort: localhost
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Schade eigentlich, dass das so stiefmütterlich behandelt wird. Insbesondere da smp ja nicht gerade ein Nischendasein fristet.
Naja, ich hoffe das beste...
Naja, ich hoffe das beste...
"Unix is simple. It just takes a genius to understand its simplicity." - Dennis Ritchie
Debian GNU/Linux Anwenderhandbuch | df.de Verhaltensregeln | Anleitungen zum Review und zum Verfassen von Wiki Artikeln.
Debian GNU/Linux Anwenderhandbuch | df.de Verhaltensregeln | Anleitungen zum Review und zum Verfassen von Wiki Artikeln.
-
- Beiträge: 1
- Registriert: 12.08.2011 15:23:12
Re: dm-crypt mit SMP (Dual Core Prozessoren)
Hallo!
Nachdem ich nicht ganz schlau daraus werde, ob denn nun das pcrypt Modul noch benötigt wird, wollt ich einmal fragen, ob mir wer weiter helfen kann.
Ich plane/baue derzeit an einem Server mit Software RAID6, welchen ich dann per dm-crypt verschlüsseln will (cypher aes-cbc-essiv:sha256/ aes-xts-plain64 mit aes-keysize=256) und dann via LVM in mehrere LVs unterteilen will. Da das System 32TB (28TB nach RAID6 wenn ich mich nicht irre) besitzen wird bin ich mir ehrlich gesagt schon bei dem cypher nicht sicher, da ich nicht weiß, ob cbc überhaupt mit einem >2TB Volume umgehen kann. Der Schwachpunkt des ganzen ist jedoch sicherlich der etwas in die Jahre gekommene Xeon L3110 (Server-Variante des E8400 2x3GHz Core2Duo), weswegen ich natürlich an der SMP Fähigkeit von dm-crypt interessiert bin.
Falls mir wer ein paar nützliche Tips (oder vorhersagen zum Thema Geschwindigkeit) zu dem ganzen Prozedere geben kann, wäre ich sehr dankbar. Momentan ist ein Kernel der Version 3.0(.1) vorgesehen.
mfg
nousernameavailable
Nachdem ich nicht ganz schlau daraus werde, ob denn nun das pcrypt Modul noch benötigt wird, wollt ich einmal fragen, ob mir wer weiter helfen kann.
Ich plane/baue derzeit an einem Server mit Software RAID6, welchen ich dann per dm-crypt verschlüsseln will (cypher aes-cbc-essiv:sha256/ aes-xts-plain64 mit aes-keysize=256) und dann via LVM in mehrere LVs unterteilen will. Da das System 32TB (28TB nach RAID6 wenn ich mich nicht irre) besitzen wird bin ich mir ehrlich gesagt schon bei dem cypher nicht sicher, da ich nicht weiß, ob cbc überhaupt mit einem >2TB Volume umgehen kann. Der Schwachpunkt des ganzen ist jedoch sicherlich der etwas in die Jahre gekommene Xeon L3110 (Server-Variante des E8400 2x3GHz Core2Duo), weswegen ich natürlich an der SMP Fähigkeit von dm-crypt interessiert bin.
Falls mir wer ein paar nützliche Tips (oder vorhersagen zum Thema Geschwindigkeit) zu dem ganzen Prozedere geben kann, wäre ich sehr dankbar. Momentan ist ein Kernel der Version 3.0(.1) vorgesehen.
mfg
nousernameavailable