Performance Routing vs Switching auf PC-Hardware

Gemeinsam ins Internet mit Firewall und Proxy.
Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Performance Routing vs Switching auf PC-Hardware

Beitrag von MSfree » 26.10.2016 21:33:36

dufty2 hat geschrieben:Diese "Durchschnittswertbildung" ist falsch bzw. zu einfach gedacht (in diesem speziellen Falle).
Komisch, daß Statistik immer sofort ohne Nachdenken angezweifelt wird. Du liegst mit deiner Aussage nämlich völlig daneben. Der Mittelwert repräsentiert hier nämlich tatsächlich die Anzahl der Pakete pro Sekunde, die sich maximal aus 993Bytes pro Paket ergeben, nämlich für 10GBit/s rund 1.25Mio PPS. Wie stark die Paketgröße um den Mittelwert herum variieren ist für die PPS völlig uninteressant.

Auf die 993Bytes pro Paket erhebe ich allerdings keinen global gültigen Anspruch, denke aber, daß dieser Wert nicht so schlecht liegt, der ist nämlich über 200 Tage gemittelt aus etwa 2.2TiB Traffic.

wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: Performance Routing vs Switching auf PC-Hardware

Beitrag von wanne » 26.10.2016 21:58:02

MSfree hat geschrieben:Bei meinem Heimserver komme ich auf eine durchschnittliche Paketgröße von 993Byte, in dem ich die Informationen, die ifconfig für (RX+TX)-Bytes und (RX+TX)-Pakets ausgibt, durcheinander teile.
Und jetzt bitte die durchscnittliche Paket und Datenrate.
Ich wette Deutlich kleiner 1MBit/s. Wenn durch ne Leitung über 100MBit/s durchgeht, dann sind das zu über 99% >1400Byte Pakete. (Zumindest solage da kein Gnutella oder VPN am werk ist.)
In den Meisten Netzwerken sind TCP-Verbindungsaufbauten und DNS relativ dominierende pakettypen aber die schaffen keine 100MBit/s im LAN sondern machen ihre Pakete mit der Zeit und extrem kleinen Datenraten. Wenn dein Netzwerk wirklich am Limit ist, kannst du die vernachlässigen.
rot: Moderator wanne spricht, default: User wanne spricht.

dufty2
Beiträge: 1709
Registriert: 22.12.2013 16:41:16

Re: Performance Routing vs Switching auf PC-Hardware

Beitrag von dufty2 » 26.10.2016 23:11:01

MSfree hat geschrieben:Der Mittelwert repräsentiert hier nämlich tatsächlich die Anzahl der Pakete pro Sekunde, die sich maximal aus 993Bytes pro Paket ergeben, nämlich für 10GBit/s rund 1.25Mio PPS..
Was die "993Bytes pro Paket" mit den "1.25Mio PPS" zu tun haben, erschließt sich mir nicht.
Aber ich muss nicht alles verstehen ;)

Zur Verdeutlichung mal meine client-Daten aus ein paar Stunden "df.de-Rumgesurfe":
RX packets 19008 bytes 17720545 (16.8 MiB)
TX packets 19076 bytes 2462387 (2.3 MiB)

(RX b)/(RX p) = 932
(TX b)/(TX p) = 130
(RX b + TX B)/(RX p + TX p) = 530

Aber diese "530" sind falsch (nicht im mathematischen Sinn):
Vom Server kommen Daten mit 1400+ an, der Client schickt ACKs mit 64+ zurück.
500 (oder 600) sind eher selten.
Man sieht es auch im tcpdump/wireshark.

wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: Performance Routing vs Switching auf PC-Hardware

Beitrag von wanne » 27.10.2016 03:14:35

dufty2 hat geschrieben:Vom Server kommen Daten mit 1400+ an, der Client schickt ACKs mit 64+ zurück.
Ja. Das ist halt das verhalte bei ner lahmen leitung.
Linux (RedHat und vermutlich wirds mit debian ähnlich sein.) verzögert ACKs per default um 40ms.
Das heißt bei 100MBit/s 3k·~1500Byte auf einen Ack mit ~64Byte.
Macht im schnitt ~1500Byte. (Ganz so viel ist es nicht, weil die Windowsize da auchnoch reinspielt. Trotzem in der Größenordnung stimmt das.)
Das gilt aber für einen Download.
Dein Debianrumgesurfe sieht natürlich völlig anders aus. Da sind massenhaft TCP aufbauten und DNS mit drin. Viel kleine übertragungen statt einem dicken Download.
Aber da hast du ne RTT von 20ms und dein aufbau hat dann 3 mal 64Byte in 30ms.
Mit einer Verbindung machst du also 6kiB/s umd da 1GBit/s 156250Verbindugen.
Das hast du irgend wo im Internet aber garantiert nicht in deien LAN. Selbst mit torrent nicht.

Das ist das was ich gemeint habe:
Wenn du deine Leitung mit 100MBit/s auslastest dann ist deine durchscnittsgröße an Paketen ~1500Byte. (Solange du keine jumbo frames hast.)
Dein average beim Surfen sieht anders aus. Aber da redest du dann auch von durchschnittlichen Auslastungen von <1MBit/s und das gibt deine CPU eh her.
rot: Moderator wanne spricht, default: User wanne spricht.

BenutzerGa4gooPh

Re: Performance Routing vs Switching auf PC-Hardware

Beitrag von BenutzerGa4gooPh » 27.10.2016 09:58:46

Vielleich solltet ihr euch auf Szenarien einigen (oder unterscheiden), die leicht an Grenzen stoßen, für die man eben schnelle NW-Komponenten benötigt:
- Rootserver, Downloadserver, Onlinezeitungen (heise.de), Shopping (amazon.de)
- teilausgelagerte Datenbanken von Firmen (Firma A nutzt ERP-System, Firma B hostet, macht "Rechnerläufe")
- Firmen mit mehreren Standorten und notwendigen DB-Synchronisationen
- Gateways in großen Firmen
- interne Firmenserver
- etc.
Und daraus entsprechende Verkehrstypen, überwiegende Frame-/Paketgrößen ableiten? Und wo liegen Grenzen? Für CPU-Grenzen gibt es preiswert schnellere CPUs oder Cluster. Die NW-Karten (damit Frames) einschl LANEs sind da wohl eher Grenzen.10GBit-Karten sind wohl immer noch selten, schweineteur.

Und die neuen Customer-WLAN-Router kriegen jetzt Probleme: 1 GBit/s reicht nicht mehr für den Access der neuesten WLAN-Technologien AC3200 als Summe von 2 oder 3 Bändern. Für die Switchports sowieso noch nie. Zwischen CPU und Switch-Trunk leider nur 1 Gbit/s. Wer braucht's derzeit - außer Customer-Router-Marketing?! Die Hersteller von WLAN-Clients ziehen sowieso nicht mit. Oder können das technisch aufgrund Platzverhältnissen für Antennen gar nicht. Profi-Hersteller (Cisco) nutzen aktive, blockierungsfreie Backplanes und viele CPUs.

r4pt0r
Beiträge: 1237
Registriert: 30.04.2007 13:32:44
Lizenz eigener Beiträge: MIT Lizenz

Re: Performance Routing vs Switching auf PC-Hardware

Beitrag von r4pt0r » 27.10.2016 11:14:30

Zum Thema JumboFrames:
JF bringen bei GBit in der Praxis eigenlich nur eine Verringerung der CPU-Last. Performancegewinne (wenn es mit aktueller Hardware noch welche gibt), bewegen sich im Promillebereich:

Code: Alles auswählen

# netperf -H 10.50.50.1 -t TCP_STREAM -C -c -l 60 -- -m 1472
MIGRATED TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.50.50.1 () port 0 AF_INET : histogram : interval : dirty data : demo
Recv   Send    Send                          Utilization       Service Demand
Socket Socket  Message  Elapsed              Send     Recv     Send    Recv
Size   Size    Size     Time     Throughput  local    remote   local   remote
bytes  bytes   bytes    secs.    10^6bits/s  % C      % C      us/KB   us/KB

 65536  32768   1472    60.01       989.50   12.27    2.20     4.064   1.456

# netperf -H 10.50.50.1 -t TCP_STREAM -C -c -l 60 -- -m 8972
MIGRATED TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.50.50.1 () port 0 AF_INET : histogram : interval : dirty data : demo
Recv   Send    Send                          Utilization       Service Demand
Socket Socket  Message  Elapsed              Send     Recv     Send    Recv
Size   Size    Size     Time     Throughput  local    remote   local   remote
bytes  bytes   bytes    secs.    10^6bits/s  % C      % C      us/KB   us/KB

 65536  32768   8972    60.03      989.52   9.76     1.45     3.232   0.961
989.50 -> 989.52 MBit/s; das geht als Messtoleranz durch...
Der Benchmark lief im (priorisierten) mgmt-VLAN vom Client (i7 6700, Intel PRO/1000 Onboard) über 2x cisco SG300 mit 2xGBit Uplink zum Gateway (Xeon L5410, Intel PRO/1000). OS an beiden Enden ist FreeBSD; 12-CURRENT bzw TrueOS am Client und 10.3-RELEASE am Gateway.
Einziger unterschied ist die 2.5% höhere CPU-Last mit der kleinen Framegröße - Für ein CPU-schwaches Gateway in einem größeren Netz kann das durchaus einen Unterschied machen; rein aus Sicht der Performance speziell im Heimgebrauch sind JF komplett zu vernachlässigen wenn man mit halbwegs brauchbarer Hardware arbeitet.

Für Subnetze in denen SIP-Geräte sind macht man sich meist mit JF mehr Probleme, da durch die path MTU discovery oft die Latenzen zu stark erhöht werden. Alte SIP-Endgeräte steigen auch gerne einfach aus, billige Switches fangen mit JF auch gerne an Pakete zu droppen - Netgear ist hier mal wieder der notorische Klassendepp (ProSafe....)
Wenn man eher fragwürdige Hardware im "normalen" Heimnetz betreibt würde ich JF einfach ignorieren und bei 1500 Byte MTU bleiben - macht am wenigsten Aufwand und man lädt keine Gremlins ein. In Verbindung mit WLAN ist die MTU sowieso nochmal ein ganz anderes Biest; da hilft meistens nur (viel) testen und benchmarken wenn man an der MTU schrauben will.

In Netzen/VLANs in denen nur Server/Infrastruktur-Geräte kommunizieren und über die auch Backups laufen, habe ich i.d.R. eine MTU von 9000 gesetzt. Hier überwiegt ganz klar der Vorteil der niedrigeren CPU-Last.
Interfaces die von Clients angesprochen werden (also im LAN oder DMZ), haben i.d.R. eine MTU von 1500 gesetzt. Hier werden sowieso praktisch nur Windowskisten bedient und diese Büchse der Pandora öffne ich sicher nicht indem ich an denen ne höhere MTU setze, speziell da hier Hardware aus allen Preisklassen bis ~10 Jahre alter vorhanden ist...
Am WAN ist man meist durch den ISP beschnitten - oft sogar auf (deutlich) <1500 Byte. Bei FTTH-Anschlüssen oder regionalen Netzbetreibern kann man immer öfter auch mit höherer MTU fahren - das macht vor allem dann Sinn, wenn der ISP z.B. cache-/accelerator-/CDN-appliances im eigenen Netz hat (z.B. von Netflix, cloudflare, akamai, google...).

r4pt0r
Beiträge: 1237
Registriert: 30.04.2007 13:32:44
Lizenz eigener Beiträge: MIT Lizenz

Re: Performance Routing vs Switching auf PC-Hardware

Beitrag von r4pt0r » 27.10.2016 11:31:56

Jana66 hat geschrieben:10GBit-Karten sind wohl immer noch selten, schweineteur.
Die Karten aus der "ersten" Generation mit Mellanox ConnectX2 Chipsatz gibts teilweise noch Neu für ~100EUR. Ansonsten sind neue Dualport-Karten bereits bei ~200EUR angekommen (vor nichtmal 2 Jahren noch ~600EUR).
Fürn "SOHO"-Gebrauch kann man auch auf gebrauchte Karten zurückgreifen - Singleport HP oder IBM Karten gibts für ~30 EUR, dualport ab ~50 EUR. Twinax-Kabel liegen bei 20-40 EUR je nach länge, ansonsten gibts die günstigen Finisar SFP-Module um ~25EUR/Stück und LWL-Patchkabel sind ab ~10m schon lange günstiger als CAT7.

Für <100 EUR kann man sich also schon nen 10GBit uplink zwischen 2 Rechnern bauen.

wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: Performance Routing vs Switching auf PC-Hardware

Beitrag von wanne » 27.10.2016 12:50:55

Jana66 hat geschrieben:Und die neuen Customer-WLAN-Router kriegen jetzt Probleme: 1 GBit/s reicht nicht mehr für den Access der neuesten WLAN-Technologien AC3200 als Summe von 2 oder 3 Bändern. Für die Switchports sowieso noch nie. Zwischen CPU und Switch-Trunk leider nur 1 Gbit/s. Wer braucht's derzeit - außer Customer-Router-Marketing?! Die Hersteller von WLAN-Clients ziehen sowieso nicht mit. Oder können das technisch aufgrund Platzverhältnissen für Antennen gar nicht. Profi-Hersteller (Cisco) nutzen aktive, blockierungsfreie Backplanes und viele CPUs.
Wie gesagt: GBit/s bekommst du auch nurch einen Plastikrouter. Da ist er zwar an seiner Grenze und kommt in paar unüblichen Szenarien nicht mehr mit aber im Heimgebrauch ist das voll im Maß.
Das WLAN "bis zu" ist quatsch. Ich wette dass du auch bei den neuen 4.6GBit/s verdammt froh sein kannst, wenn du da 100MBit/s drüber bekommst. Alles kein Problem für die CPU.
r4pt0r hat geschrieben:Wenn man eher fragwürdige Hardware im "normalen" Heimnetz betreibt würde ich JF einfach ignorieren und bei 1500 Byte MTU bleiben
Full ACK. Ist (leider) den Aufwand nicht wert.
Das sieht etwas anders in Firmennetzwerken aus, wo man überall die gleiche Hardware und die gleichen Anwendungnen hat und dann dick testen kann. Sonst ist alles außer 1500byte insbesondere mit IPv4 absoluter Garant für Ärger.

@r4pt0r: Ja Glsfaser würde ich wenn ich lieb fragen würde wohl sogar ausgemusterrte Melanox-InfiniBand-Hrdware umsonst irgend wo her bekommen. Die frage ist, wie du das in dein Netzwerk integrierst. Insbesonder die Switches sind dann nämlich nicht mehr so für umme zu haben.
rot: Moderator wanne spricht, default: User wanne spricht.

r4pt0r
Beiträge: 1237
Registriert: 30.04.2007 13:32:44
Lizenz eigener Beiträge: MIT Lizenz

Re: Performance Routing vs Switching auf PC-Hardware

Beitrag von r4pt0r » 27.10.2016 13:41:33

wanne hat geschrieben: @r4pt0r: Ja Glsfaser würde ich wenn ich lieb fragen würde wohl sogar ausgemusterrte Melanox-InfiniBand-Hrdware umsonst irgend wo her bekommen. Die frage ist, wie du das in dein Netzwerk integrierst. Insbesonder die Switches sind dann nämlich nicht mehr so für umme zu haben.
Infiniband braucht man sich aber auch eher nicht mehr ans Bein hängen, ausser für uplinks zwischen switches macht das kaum sinn bzw ist ja sowieso nicht wirklich für Hostanbindung gedacht gewesen, zumal es sich ja hier nicht mehr um Ethernet handelt (oder wurde da noch was aus dem Vorhaben "Ethernet-over-Infiniband"?)

10GbE Switches sind nach wie vor ziemlich teuer - selber "trend" wie schon bei FC. Einziger (positiver) Unterschied: Bei 10GbE switches wird nicht mehr so krass über Lizenzen abkassiert wie bei FC. Da kauft man ja für 15k EUR nen switch und muss dann zusätzlich per Lizenzen die Ports freischalten :evil:

Für kleine deployments, z.b. Storageserver + 1-4 Virtualisierungshosts kann man auch ohne switch auskommen und tangiert damit auch das vorhandene Netz nicht. Teilweise war für solche Setups ja schon FC vorhanden, das lässt sich dann nahtlos überführen. Blockdevices werden dann per iSCSI durchgereicht und man kann den Link auch noch anderweitig nutzen; da ist man schon deutlich flexibler als mit FC.

Ich warte hauptsächlich noch bis switches mit 10G uplinks preislich halbwegs interessant werden. Aktuell sind hier manche switches mit 4-fach LAG verbunden, was zu Stoßzeiten trotzdem eng wird. Bei 6-8 ports die für uplink-LAGs verloren gehen wäre 10G uplink wirklich eine Erlösung, auch weil dann wieder mehr "heiße" links auf den selben switch gelegt werden können.

dufty2
Beiträge: 1709
Registriert: 22.12.2013 16:41:16

Re: Performance Routing vs Switching auf PC-Hardware

Beitrag von dufty2 » 27.10.2016 14:43:25

wanne hat geschrieben: Das ist das was ich gemeint habe:
Wenn du deine Leitung mit 100MBit/s auslastest dann ist deine durchscnittsgröße an Paketen ~1500Byte.
Tja, fürchte, Deine 2. Rechung (und die Schlussfolgerungen daraus) sind genauso falsch wie Deine 1. Rechnung ;)

Das Grundprinzip TCP lautet (extrem vereinfacht): data <1500>, data <1500>, ACK <64>, data <1500>, data <1500>, ACK <64>, etc.
=> Daraus kann nie und nimmer ein Durschnitt von 1500 werden.
Doch probieren geht über studieren!
Win client mit iperf über 100 Mbps Switch an Linux-VM:

Code: Alles auswählen

C:\_personal>iperf3.exe -c 10.10.10.10 -t 3
Connecting to host 10.10.10.10, port 5201
[  4] local 10.10.10.11 port 28963 connected to 10.10.10.10 port 5201
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec  11.5 MBytes  96.5 Mbits/sec
[  4]   1.00-2.00   sec  11.2 MBytes  94.4 Mbits/sec
[  4]   2.00-3.00   sec  11.2 MBytes  94.4 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-3.00   sec  34.0 MBytes  95.1 Mbits/sec                  sender
[  4]   0.00-3.00   sec  34.0 MBytes  95.1 Mbits/sec                  receiver

iperf Done.

C:\_personal>
So, und was sagt Wirekshark?

Code: Alles auswählen

frame.cap_len <= 100
Pakete 36823  Angezeigt: 12340 (33.5%)

frame.cap_len >= 1400
Pakete 36823  Angezeigt: 24209 (65.7%)
Merkste was? ;)

wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: Performance Routing vs Switching auf PC-Hardware

Beitrag von wanne » 27.10.2016 16:28:55

dufty2 hat geschrieben:Win client mit iperf über 100 Mbps Switch an Linux-VM:
Ich sehe da vor allem einen schlechten TCP Stack auf Serverseite. Deswegen Bencharke ich lieber mit curl und nginx oder so statt mit irgend welchen tools, die root rechte brauchen und dann an irgend welchen Schrauben drehen, an die andere gar nicht ran kommen.
Ein besserer tcp stack ACKed nicht jedes Paket.
hier ein download vom des nvidia-Treibers netcup debian Mirror 80MBit/s Anbindung.
>5300Pakete hin 288-Pakete zurück (Und da sind nicht nur ACKs sonder auch noch ARP und ähnlicher kleiner "Müll" mit drin.) durchschnittliche Paketgröße ~1400Byte.
Auf 20 Daten-Pakete kam etwa ein ACK.
Bischen größere Datei und bisschen mehr Bandbreite und man merkt den Unterschied zu 1500byte nicht mehr. (Zumal Ethernet ja auch noch etwas größere Pakete zulässt.)
Das ist eine realitätsnahe Anwendung.
rot: Moderator wanne spricht, default: User wanne spricht.

dufty2
Beiträge: 1709
Registriert: 22.12.2013 16:41:16

Re: Performance Routing vs Switching auf PC-Hardware

Beitrag von dufty2 » 28.10.2016 13:28:50

wanne hat geschrieben:Ich sehe da vor allem einen schlechten TCP Stack auf Serverseite.
Der war gut ;)
Die Linux-VM ist ein Debian jessie. Bei iperf/iperf3 schickt übrigens der Client die Daten, der Server ACKed nur (in der Default-Einstellung).
wanne hat geschrieben: Deswegen Bencharke ich lieber mit curl und nginx oder so statt mit irgend welchen tools, die root rechte brauchen und dann an irgend welchen Schrauben drehen, an die andere gar nicht ran kommen.
Der war gut ;)
Wer Port 80/443 benutzen will, braucht root/admin-Rechte, wohingegen iperf3 Port 5201 auf Serverseite benutzt und der iperf3-client natürlich auch high ports.
Das open-source iperf/iperf3 wird auch im professionellen Bereich benutzt, wenn es mal schnell gehen soll (und die Firmenfirewalls mitspielen).
wanne hat geschrieben: Ein besserer tcp stack ACKed nicht jedes Paket.
Der war gut ;)
Delayed ACK ist bei debian aktiv und daher wird bei jedem 2. Paket geACKed (deshalb auch die Paket-Verteilung 2:1), was dem Standard entspricht.
wanne hat geschrieben: hier ein download vom des nvidia-Treibers netcup debian Mirror 80MBit/s Anbindung.
>5300Pakete hin 288-Pakete zurück (Und da sind nicht nur ACKs sonder auch noch ARP und ähnlicher kleiner "Müll" mit drin.) durchschnittliche Paketgröße ~1400Byte.
Auf 20 Daten-Pakete kam etwa ein ACK.
Mach mal einen tcpdump

Code: Alles auswählen

# tcpdump host 46.38.225.104 -w a.pcap
während Deines nvida-Treiber downloads, stell ihn öffentlich zur Verfügung und ich schau ihn mir mal an.

dufty2
Beiträge: 1709
Registriert: 22.12.2013 16:41:16

Re: Performance Routing vs Switching auf PC-Hardware

Beitrag von dufty2 » 31.10.2016 09:25:32

Jana66 hat geschrieben: Und die neuen Customer-WLAN-Router kriegen jetzt Probleme: 1 GBit/s reicht nicht mehr für den Access der neuesten WLAN-Technologien AC3200 als Summe von 2 oder 3 Bändern. Für die Switchports sowieso noch nie. Zwischen CPU und Switch-Trunk leider nur 1 Gbit/s.
Denke nicht, das es (derzeit) zu Problemen kommt.
Richtig ist, dass bei vielen HeimRouter zwischen Switch(Chip) und CPU nur 1 x 1 Gbps (machmal 2 x 1) liegen, aber - wenn ich es jetzt richtig verstanden habe - ist bei diesem Asus RT-AC3200 Tri-Band die CPU im Switchchip mit integriert.
Daher könnte man bei einem "Bonding" von wlan0/1/2 auf ( 1,3 + 1,3 + 0,6 = 3,2 ) Gbps kommen, für die man dann die 4 LAN-ports als Bond bräuchte. Das sind aber theoretische Angaben, praktisch wohl eher ( 0,45 + 0,45 + 0,1 = 1 ) Gbps.
Dann reicht ein 1 Gbps LAN Port wieder :)

BenutzerGa4gooPh

Re: Performance Routing vs Switching auf PC-Hardware

Beitrag von BenutzerGa4gooPh » 31.10.2016 10:12:49

dufty2 hat geschrieben:Richtig ist, dass bei vielen HeimRouter zwischen Switch(Chip) und CPU nur 1 x 1 Gbps (machmal 2 x 1) liegen, aber - wenn ich es jetzt richtig verstanden habe - ist bei diesem Asus RT-AC3200 Tri-Band die CPU im Switchchip mit integriert.
Geil, wieder was ganz neues, du hast Recht.
http://www.smallnetbuilder.com/wireless ... r-reviewed

Ansonsten meinte ich mit "Problemen" mehr die Marketing-Strategen denn die Anwender. Keiner wird wohl praktisch die beworbenen Bandbreiten erzielen - aber ist doch niedlich, wie Marketing mit technischen Grenzen umgeht ... :wink:

Antworten