[gelöst] Kein IPv4 für Gäste über Bridge

Einrichten des lokalen Netzes, Verbindung zu anderen Computern und Diensten.
Antworten
Roonix
Beiträge: 57
Registriert: 01.04.2019 11:56:52

[gelöst] Kein IPv4 für Gäste über Bridge

Beitrag von Roonix » 15.03.2020 21:19:48

Hallo liebes Forum,
ich habe meinen dom0 mal eine dringend notwendige Neuinstallation gegönnt, gepaart mit einer Änderung am Netzwerk.

Folgende Netzwerkkonfiguration liegt vor:

eno1 + eno2 als bond0 auf die Switch

eno3 an den Router, mit fester IPv4 Adresse

br0 soll bond0 als slaves benutzen -> tut sie auch, aber nur mit IPv6. Ich kann auch VM's über das Interface installieren, jedoch bekommen diese keine IPv6 Adressen sondern ausschließlich IPv4 Adressen. v4 Forwarding im Kernel ist aktiv. Wenn ich v6 ausschalte, geht weder der virt-manager über X-Window noch bekommen die VM's irgendeine Verbindung zum Internet. Weder br0 noch bond0 sollen eine Adresse bekommen.

Der Switch hat ebenfalls eine Verbindung zum Router.

Hier meine interfaces:

Code: Alles auswählen

# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

source /etc/network/interfaces.d/*

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
allow-hotplug eno1
iface eno1 inet manual

# The primary network interface
allow-hotplug eno2
iface eno2 inet manual

#Bonding Interface to HP-Switch for br0
auto bond0
iface bond0 inet manual
        bond_slaves eno1 eno2
        bond_mode 0
        bond_miimon 100
        bond_updelay 200
        bond_downdelay 200

#br0 für KVm/QEMU
auto br0
iface br0 inet manual
        bridge_ports bond0
        bridge_fd 2
        bridge_stp on
        bridge_maxwait 0

# The primary network interface
auto eno3
allow-hotplug eno3
iface eno3 inet static
        address 192.168.223.201/24
        gateway 192.168.223.254
        # dns-* options are implemented by the resolvconf package, if installed
        dns-nameservers 192.168.223.254
        dns-search XXXXXXXXXXXXXXXXXXXXX
Hoffe es kann mir jemand helfen, danke im vorraus :)
Zuletzt geändert von Roonix am 14.04.2020 22:36:23, insgesamt 1-mal geändert.

Benutzeravatar
bluestar
Beiträge: 2346
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Kein IPv4 für Gäste über Bridge

Beitrag von bluestar » 22.03.2020 17:31:11

Firewall auf deiner Dom0 aktiv? Läuft ein passender DHCP Server?

Roonix
Beiträge: 57
Registriert: 01.04.2019 11:56:52

Re: Kein IPv4 für Gäste über Bridge

Beitrag von Roonix » 22.03.2020 19:38:40

bluestar hat geschrieben: ↑ zum Beitrag ↑
22.03.2020 17:31:11
Firewall auf deiner Dom0 aktiv? Läuft ein passender DHCP Server?

iptables hat noch keine Rules, es steht alles auf Accept. DHCP Server der Fritte läuft, da kommen ja auch die IPv6 Adressen her.

Benutzeravatar
bluestar
Beiträge: 2346
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Kein IPv4 für Gäste über Bridge

Beitrag von bluestar » 23.03.2020 10:12:48

Du könntest testweise mal auf br0 eine IP Adresse statisch konfigurieren und von einem anderen Gerät aus deinem Lan heraus diese IP pingen, allerdings solltest du dabei das Kabel an eno3 von deinem Server abziehen.... Einfach mal als Test das dein bond0 und deine br0 korrekt funktionieren

Roonix
Beiträge: 57
Registriert: 01.04.2019 11:56:52

Re: Kein IPv4 für Gäste über Bridge

Beitrag von Roonix » 25.03.2020 00:45:17

Ich hab nochmal drüber nachgedacht. Das STP macht mir hier nen Strich durch die Rechnung. Mit STP off auf der bridge geht es, dann gibt es allerdings einen Loop.

Allerdings ist das nicht zufriedenstellend, da br0 noch immer keine DHCP IPv4 Adresse beziehen kann und in der grade genannten Konfiguration auch keine Verbindung zum Internet bekommnt. Ich denke das Problem sitzt tiefer, irgendwo am bond0. mii-tool zeigt mir auch nur 10 Mbit für das Interface an, hier liegt also was im argen...

beim booten kommt folgende Meldung, mit der ich leider nichts anfangen kann. Auch bei Google komme ich da nicht weiter:

Code: Alles auswählen

bond0: invalid new link 3 on slave eno2

Benutzeravatar
bluestar
Beiträge: 2346
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Kein IPv4 für Gäste über Bridge

Beitrag von bluestar » 25.03.2020 13:04:42

Du könntest bei dein bond0 mal wie folgt abändern, in machen Fällen bringt der Bonding-Code des Kernels die Slaves nicht sauber hoch.

Code: Alles auswählen

auto bond0
iface bond0 inet manual
        bond_slaves eno1 eno2
        bond_mode 0
        bond_miimon 100
        bond_updelay 200
        bond_downdelay 200
        pre-up /sbin/ip link set up dev eno1
        pre-up /sbin/ip link set up dev eno2
STP würde ich auch auf jeden Fall deaktivieren

Roonix
Beiträge: 57
Registriert: 01.04.2019 11:56:52

Re: Kein IPv4 für Gäste über Bridge

Beitrag von Roonix » 27.03.2020 11:25:46

bluestar hat geschrieben: ↑ zum Beitrag ↑
25.03.2020 13:04:42
Du könntest bei dein bond0 mal wie folgt abändern, in machen Fällen bringt der Bonding-Code des Kernels die Slaves nicht sauber hoch.

Code: Alles auswählen

auto bond0
iface bond0 inet manual
        bond_slaves eno1 eno2
        bond_mode 0
        bond_miimon 100
        bond_updelay 200
        bond_downdelay 200
        pre-up /sbin/ip link set up dev eno1
        pre-up /sbin/ip link set up dev eno2
STP würde ich auch auf jeden Fall deaktivieren
Super, werde ich heute abend mal ausprobieren und Rückmeldung geben. Danke :)

Roonix
Beiträge: 57
Registriert: 01.04.2019 11:56:52

Re: Kein IPv4 für Gäste über Bridge

Beitrag von Roonix » 29.03.2020 01:15:50

Hallo bluestar,
danke nochmal für den Vorschlag. Leider hat das nichts gebracht.

Benutzeravatar
bluestar
Beiträge: 2346
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Kein IPv4 für Gäste über Bridge

Beitrag von bluestar » 03.04.2020 16:23:58

Hast du den Trunk im Switch evtl. als LCAP-Trunk konfiguriert?

Roonix
Beiträge: 57
Registriert: 01.04.2019 11:56:52

Re: Kein IPv4 für Gäste über Bridge

Beitrag von Roonix » 05.04.2020 23:42:01

bluestar hat geschrieben: ↑ zum Beitrag ↑
03.04.2020 16:23:58
Hast du den Trunk im Switch evtl. als LCAP-Trunk konfiguriert?
Hallo bluestar,
habe es mit und ohne LACP und der entsprechenden bond Konfiguration probiert. dmesg gibt in allen fällen als Fehler aus:

Code: Alles auswählen

invalid new link 3 on eno2
Leider kann ich dazu nichts recherchieren was mir weiterhilft. Habe es auch, obwohl ich es für unwahrscheinlich hielt, mit zwei verschiedenen Switches probiert. Leider keine Änderung.

LG

Benutzeravatar
unitra
Beiträge: 638
Registriert: 15.06.2002 21:09:38
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: 127.128.129.130

Re: Kein IPv4 für Gäste über Bridge

Beitrag von unitra » 06.04.2020 02:33:08

Dem Aufbau nach zu urteilen ist der besprochene Host als Switch konfiguriert mit den 3 Ports, da STP abzuschalten ist keine Lösung, das wird nicht funktionieren, wie bereits beschrieben.

Was ist das Problem was gelöst werden soll? Ist das Problem die bond0 Konfiguration oder die IP Konfiguration?

Frage: Funktioniert die IP Konfiguration zuverlässig wenn kein bond0 konfiguriert ist? Jeweils nur ein Port verbunden also ein Port verbunden mit dem Router und ein Port verbunden auf dem Switch?

Die Problematik mit dem bond0 interface sollte als ein separates Problem betrachtet werden.

Benutzeravatar
bluestar
Beiträge: 2346
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Kein IPv4 für Gäste über Bridge

Beitrag von bluestar » 06.04.2020 09:32:04

unitra hat geschrieben: ↑ zum Beitrag ↑
06.04.2020 02:33:08
Dem Aufbau nach zu urteilen ist der besprochene Host als Switch konfiguriert mit den 3 Ports, da STP abzuschalten ist keine Lösung, das wird nicht funktionieren, wie bereits beschrieben.
Da der Host lediglich 2 seiner 3 Ports in der Bridge hat, spielt hier STP keine Rolle ...
unitra hat geschrieben: ↑ zum Beitrag ↑
06.04.2020 02:33:08
Was ist das Problem was gelöst werden soll?
Sofern ich den TE richtig verstehe, kommen Fehler beim Hinzufügen der Slave-Devices zu bond0 zu der Fehlermeldung:
Roonix hat geschrieben: ↑ zum Beitrag ↑
25.03.2020 00:45:17

Code: Alles auswählen

bond0: invalid new link 3 on slave eno2
Ich vermute die Probleme einfach mal auf Switch Seite, dass dort evtl. Trunk/LACP oder ähnliches eingestellt wurde und somit ein Zusammenspiel mit bond_mode 0 Fehler verursacht, daher die Frage an den TE -> Ob auf dem Switch der Trunk in irgendeiner Weise konfiguriert wurde.

Habe mir gerade noch mal bond_main.c (https://github.com/torvalds/linux/blob/ ... ond_main.c, Zeilen: 2236 - 2324) angesehen und da erschließt sich mir ein Fall für die Fehlermeldung bond_miimon 200 scheint wohl im Zusammenspiel mit bond_mode 0 nicht zu funktionieren. Ich würde daher mal dazu raten bond_miimon 200 wegzulassen.

Benutzeravatar
bluestar
Beiträge: 2346
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Kein IPv4 für Gäste über Bridge

Beitrag von bluestar » 06.04.2020 09:49:52

Roonix hat geschrieben: ↑ zum Beitrag ↑
05.04.2020 23:42:01
habe es mit und ohne LACP und der entsprechenden bond Konfiguration probiert. dmesg gibt in allen fällen als Fehler aus:
Danke für das Feedback, dann würde ich dir mal zu folgenden Tests raten:
1) entferne bond_miimon in deiner Konfiguration, kein LACP auf dem Switch
2) trage als bond_mode 4 und konfiguriere auf dem Switch den Trunk als LACP.
3) Sofern beides nicht hilft, wäre es mal hilfreich zu wissen, welcher Netzwerktreiber bei dir zum Einsatz kommt.... Ich hab da in den Kernel-Sourcen nämlich noch ein Parmeterchen gefunden, was auch noch eine Hilfe sein könnte: use_carrier=0.

Ansonsten bin ich mit meinem Bondage-Latein am Ende und könnte nur noch mal dazu raten, den neusten Kernel aus den Buster-Backports zu verwenden.

Benutzeravatar
unitra
Beiträge: 638
Registriert: 15.06.2002 21:09:38
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: 127.128.129.130

Re: Kein IPv4 für Gäste über Bridge

Beitrag von unitra » 06.04.2020 14:34:13

Noch mal der Aufbau erklärt:

Der Host hängt mit einem Ethernet Port am Router und mit 2 Ports an einem Switch. Verkabelung ( Router <-> Host <-> Switch). Dieser Aufbau kann zu geblockten Ports führen, hängt davon ab wo die "Root-Bridge" augehandelt ist, weil ich davon ausgehen muß, daß die Root-Bridge nicht konfiguriert ist. Teilweises Abschalten von STP und nicht wissen wo die Root-Bridge ausgehandelt ist könnte zu so einem Verhalten führen.

Ob das STP eine Rolle spielt, d.h. verhält sich konform und alles ist super ausgehandelt zwischen den einzenen Komponenten, oder keine Ahnung wo die Root-Bridge hängt und welche Ports geblockt werden und der SPanning-Tree Algorithmus berechnet alle 30 Sekunden die Schleifenfreie Topologie, und immer wieder, kann man momentan unter diesen Umständen nicht sagen.
bluestar hat geschrieben: ↑ zum Beitrag ↑
06.04.2020 09:32:04
unitra hat geschrieben: ↑ zum Beitrag ↑
06.04.2020 02:33:08
Dem Aufbau nach zu urteilen ist der besprochene Host als Switch konfiguriert mit den 3 Ports, da STP abzuschalten ist keine Lösung, das wird nicht funktionieren, wie bereits beschrieben.
Da der Host lediglich 2 seiner 3 Ports in der Bridge hat, spielt hier STP keine Rolle ...

Benutzeravatar
unitra
Beiträge: 638
Registriert: 15.06.2002 21:09:38
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: 127.128.129.130

Re: Kein IPv4 für Gäste über Bridge

Beitrag von unitra » 06.04.2020 14:40:48

Deswegen wäre es hilfreich das bond0 Interface wegzulassen, und zur Probe zu schauen ob der Netzwerkaufbau ohne bond0 überhaupt funktioniert so wie es sich der TE wünscht. IPv4 und IPv6 Erreichbarkeit sichergestellt.
bluestar hat geschrieben: ↑ zum Beitrag ↑
06.04.2020 09:32:04
...
Ich vermute die Probleme einfach mal auf Switch Seite, dass dort evtl. Trunk/LACP oder ähnliches eingestellt wurde und somit ein Zusammenspiel mit bond_mode 0 Fehler verursacht, daher die Frage an den TE -> Ob auf dem Switch der Trunk in irgendeiner Weise konfiguriert wurde.

Benutzeravatar
bluestar
Beiträge: 2346
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Kein IPv4 für Gäste über Bridge

Beitrag von bluestar » 06.04.2020 14:41:41

unitra hat geschrieben: ↑ zum Beitrag ↑
06.04.2020 14:34:13
Der Host hängt mit einem Ethernet Port am Router und mit 2 Ports an einem Switch. Verkabelung ( Router <-> Host <-> Switch). Dieser Aufbau kann zu geblockten Ports führen, hängt davon ab wo die "Root-Bridge" augehandelt ist, weil ich davon ausgehen muß, daß die Root-Bridge nicht konfiguriert ist. Teilweises Abschalten von STP und nicht wissen wo die Root-Bridge ausgehandelt ist könnte zu so einem Verhalten führen.
Deine Ausführungen sind richtig, allerdings geht's bei dem TE doch darum, dass der Bonding-Treiber auf dem Linux-Server sich weigert überhaupt beide Interfaces anzunehmen.

So lange bond0 nicht erst mal hochkommt mit beiden Ports, spielen STP / Root-Bridge / blocked Ports keine Rolle....

Roonix
Beiträge: 57
Registriert: 01.04.2019 11:56:52

Re: Kein IPv4 für Gäste über Bridge

Beitrag von Roonix » 14.04.2020 21:18:58

bluestar hat geschrieben: ↑ zum Beitrag ↑
06.04.2020 09:49:52
Roonix hat geschrieben: ↑ zum Beitrag ↑
05.04.2020 23:42:01
habe es mit und ohne LACP und der entsprechenden bond Konfiguration probiert. dmesg gibt in allen fällen als Fehler aus:
Danke für das Feedback, dann würde ich dir mal zu folgenden Tests raten:
1) entferne bond_miimon in deiner Konfiguration, kein LACP auf dem Switch
2) trage als bond_mode 4 und konfiguriere auf dem Switch den Trunk als LACP.
3) Sofern beides nicht hilft, wäre es mal hilfreich zu wissen, welcher Netzwerktreiber bei dir zum Einsatz kommt.... Ich hab da in den Kernel-Sourcen nämlich noch ein Parmeterchen gefunden, was auch noch eine Hilfe sein könnte: use_carrier=0.

Ansonsten bin ich mit meinem Bondage-Latein am Ende und könnte nur noch mal dazu raten, den neusten Kernel aus den Buster-Backports zu verwenden.
Hallo zusammen, war jetzt länger krankheitsbedingt flachgelegen und bin nun wieder auferstanden :P

Ich habe das getestet, ohne bond_miimon funktioniert der bond, es kommen keine Fehlermeldungen mehr. Allerdings - wenn ich eine VM auf eine bridge hänge die ich auf den Bond konfiguriere bekommt diese wieder keine ipv4 adresse.

Vielen Dank für eure zahlreichen Bemühungen! :)

Roonix
Beiträge: 57
Registriert: 01.04.2019 11:56:52

Re: [gelöst] Kein IPv4 für Gäste über Bridge

Beitrag von Roonix » 14.04.2020 22:41:23

So, habe das Problem nun gelöst.

Code: Alles auswählen

bond-miimon 100
bond-updelay 200
bond-downdelay 200
wurden entfernt. Danach habe ich die interfaces Datei Schritt für Schritt neu aufgebaut. Immer mit reboot und dmesg Kontrolle dazwischen. jetzt funktioniert alles einwandfrei! Vielen Dank an alle :)

Code: Alles auswählen

  1 # This file describes the network interfaces available on your system
  2 # and how to activate them. For more information, see interfaces(5).
  3
  4 source /etc/network/interfaces.d/*
  5
  6 # The loopback network interface
  7 auto lo
  8 iface lo inet loopback
  9
 10 #eno1 in bond0 (LAGG) an unifi-p3
 11 allow eno1
 12 iface eno1 inet manual
 13
 14 #eno2 in bond0 (LAGG) an unifi-p3
 15 allow eno2
 16 iface eno2 inet manual
 17
 18 #eno3 für brLANan unifi-p3
 19 auto eno3
 20 iface eno3 inet manual
 21
 22 #eno4 für brWAN an fritzbox
 23 auto eno4
 24 iface eno4 inet manual
 25
 26 #bond0 (eno1 + eno2)
 27 auto bond0
 28 iface bond0 inet manual
 29   bond_slaves eno1 eno2
 30   bond_mode 4 #LAGG auf Switch konfiguriert!
 31
 32 #brLAN für KVM/QEMU
 33 auto brLAN
 34 iface brLAN inet manual
 35   bridge_ports eno3
 36   bridge_fd 0
 37   bridge_waitport 20
 38   bridge_stp on
 39 # address 192.168.223.201/24
 40 #  gateway 192.168.223.254
 41 # # dns-* options are implemented by the resolvconf package, if installed
 42 # dns-nameservers 192.168.223.254
 43 # dns-search XXXXXXXXXXXXXXXXXXXXXX
 44
 45 #brWAN für vm52-opnsense-WAN
 46 auto brWAN
 47 iface brWAN inet manual
 48   bridge_ports eno4
 49   bridge_fd 0
 50   bridge_waitport 20
 51   bridge_stp on
 52
 53 #brVM auf bond0 (LAGG)
 54 auto brVM
 55 iface brVM inet static
 56   bridge_ports bond0
 57   bridge_fd 0
 58   bridge_waitport 20
 59   bridge_stp on
 60   address 192.168.223.201/24
 61   gateway 192.168.223.254
 62   # dns-* options are implemented by the resolvconf package, if installed
 63   dns-nameservers 192.168.223.254
 64   dns-search XXXXXXXXXXXX
~

Code: Alles auswählen

root@dom0-ber-host01 ~ # ethtool bond0
Settings for bond0:
        Supported ports: [ ]
        Supported link modes:   Not reported
        Supported pause frame use: No
        Supports auto-negotiation: No
        Supported FEC modes: Not reported
        Advertised link modes:  Not reported
        Advertised pause frame use: No
        Advertised auto-negotiation: No
        Advertised FEC modes: Not reported
        Speed: 2000Mb/s
        Duplex: Full
        Port: Other
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: off
        Link detected: yes
LG Patrick

Antworten