Netflow-/Softflow-Analyzer (offline) gesucht

Einrichten des lokalen Netzes, Verbindung zu anderen Computern und Diensten.
Antworten
jessie
Beiträge: 112
Registriert: 16.06.2019 09:55:33

Netflow-/Softflow-Analyzer (offline) gesucht

Beitrag von jessie » 01.07.2019 10:54:52

Ich grüße euch herzlich!

gegeben:
- Spielereien im Heimnetzwerk
- pfSense (Basis FreeBSD) wahlweise mit Debianntopng oder Debiansoftflowd auf der pfSense
- Probleme mit Debianntopng als pfSense-Zusatzpaket:
Der damit notwendige Webserver erhöht die Angriffsfläche, zumal physische Ports promiskuitiv geschaltet werden. Ich möchte Netflow nur temporär bei Problemen oder Neugier aktivieren. Eine Einstellung, die ich bei NtopNG entweder nicht gefunden habe oder wirklich nicht geht: Historische Flows / Zeiträume analysieren. NtopNG auf der pfSense habe ich problemlos zum Laufen gebracht.

Idee:
Temporär aktiviertes Debiansoftflowd auf der pfSense liefert Daten zum Laptop mit Debian Stretch und dort installiertem Netflow-Collector und -Analyzer. Dort efolgt eine Flow-Analyse bei Bedarf/Neugier. Da es sich um ein Heimnetz ohne Windows- und Android-Hosts handelt, macht es mir nichts aus, wenn der Collector aufgrund Abschalten des Laptops mal nicht sammelt. Ein dauerhaftes Sammeln der Flows mit 7d/24h-Server (nicht vorhanden) habe ich eigentlich nicht vor.

gesucht (also für einen Debian-Stretch-Laptop):
- Offline Analyzer für Debiansoftflowd-Daten erzeugt von pfSense mit möglicher Analyse historischer Flows in frei konfigurierbaren Zeiträumen

- GUI aber möglichst kein Webserver, ein lokaler Analyzer + Collector auf Laptop genügt vollkommen
(Ein lokaler Webserver auf Laptop für Debianntopng wäre aber nicht das Problem. Ich möchte jedoch historische Flows und Zeiträume analysieren können, also nicht nur aktuelle Flows - und diese Möglichkeit habe ich bei Debianntopng nicht gefunden.)
- Es sind nur Flows der Firewall-IFs interessant, der Laptop-IFs nicht. (Flows des Laptops erscheinen ja indirekt über IFs der pfSense.)

meine Ziele - und zum Verständnis für neugierige Mitleser:
http://www.ntop.org/wp-content/uploads/ ... ntopng.pdf
(Top-Talker- und Bandbreitenanzeige sind mir nicht so wichtig, mir geht es um Erkennung von Unregelmäßigkeiten im Netz. Probleme habe ich zwar keine, jedoch Neugier und Bastellust. Was schon mal mit Debianntopng auf der pfSense ganz nett war: Hatte mal den Domainnamen meines Netzwerkes geändert und dabei vergessen, den primär gesuchten NTP-Server des Debian-Laptops zu ändern. Dessen Versuche mit veralteter Namensauflösung wurden mit NtopNG sichtbar, neben Verbindungen zu Mozilla (Pocket), .1e100.net von Smartphones usw.)

Suchmaschinen kann ich natürlich bedienen, habe etliche Closed Sources Netflow Analyzer außerhalb der Debian-Paketquellen gefunden. Deshalb suche ich Empfehlungen für bewährte Netflow-Analyzer oder bessere Konzepte für Traffic Monitoring (nicht nur für local host).

Danke und bis bald!

Edit: ntopng und nprobe gemeinsam auf Laptop dürften Flows von Netflow/Softflow-Geräten sammeln und auch historische Flows zeigen [1], für nprobe braucht man allerdings eine Lizenz, die nur für Universitäten und Non-Profit-Organisationen kostenfrei ist [2].
[1] https://www.ntop.org/guides/ntopng/usin ... probe.html
[2] https://www.ntop.org/products/netflow/nprobe/ (unten)

jessie
Beiträge: 112
Registriert: 16.06.2019 09:55:33

Re: Netflow-/Softflow-Analyzer (offline) gesucht

Beitrag von jessie » 02.07.2019 12:35:48

nprobe lässt sich ohne Lizenz installieren und exportiert bis zu 25.000 Flows an einen Collector (z. B. Debianntopng)
Habe das für Erkenntnisse und Ausgaben nur im Terminal provisorisch gestartet, per systemD-Service wäre auch möglich.

Code: Alles auswählen

root@g710:~# nprobe --zmq "tcp://*:5556" -i none -n none --collector-port 2055 -T "@NTOPNG@"
02/Jul/2019 11:13:50 [plugin.c:181] No plugins found in ./plugins
02/Jul/2019 11:13:50 [plugin.c:189] Loading 24 plugins [.so] from /usr/local/lib/nprobe/plugins
02/Jul/2019 11:13:50 [nprobe.c:4168] ERROR: Invalid nProbe license (/etc/nprobe.license) [Missing license file]
02/Jul/2019 11:13:50 [nprobe.c:4175] ERROR: *****************************************************
02/Jul/2019 11:13:50 [nprobe.c:4176] ERROR: **                                                 **
02/Jul/2019 11:13:50 [nprobe.c:4177] ERROR: **  Switching to DEMO MODE (missing valid license) **
02/Jul/2019 11:13:50 [nprobe.c:4178] ERROR: **                                                 **
02/Jul/2019 11:13:50 [nprobe.c:4179] ERROR: **  Purchase your nProbe license at                **
02/Jul/2019 11:13:50 [nprobe.c:4180] ERROR: **       https://shop.ntop.org/                    **
02/Jul/2019 11:13:50 [nprobe.c:4181] ERROR: **                                                 **
02/Jul/2019 11:13:50 [nprobe.c:4182] ERROR: *****************************************************
02/Jul/2019 11:13:50 [nprobe.c:6106] WARNING: The output interfaceId is set to 0: did you forget to use -Q perhaps ?
02/Jul/2019 11:13:50 [nprobe.c:6109] WARNING: The input interfaceId is set to 0: did you forget to use -u perhaps ?
02/Jul/2019 11:13:50 [nprobe.c:6196] Welcome to nProbe v.8.6.190627 ($Revision: 6332 $) for x86_64-pc-linux-gnu with native PF_RING acceleration
02/Jul/2019 11:13:50 [nprobe.c:6206] Running on Debian GNU/Linux 9.1 (stretch)
02/Jul/2019 11:13:50 [nprobe.c:6217] [LICENSE] nProbe SystemId: 763E9A539206AAF2
02/Jul/2019 11:13:50 [nprobe.c:6284] Sample rate [packet: 1][flow collection/export: 1/1]
02/Jul/2019 11:13:50 [nprobe.c:8974] ERROR: ***************************************************************
02/Jul/2019 11:13:50 [nprobe.c:8975] ERROR: * NOTE: This is a DEMO version limited to 25000 flows export.  *
02/Jul/2019 11:13:50 [nprobe.c:8976] ERROR: ***************************************************************
02/Jul/2019 11:13:50 [nprobe.c:8982] Welcome to nProbe v.8.6.190627 for x86_64-pc-linux-gnu
02/Jul/2019 11:13:50 [nprobe.c:7881] WARNING: Adding %EXPORTER_IPV4_ADDRESS to the template as nProbe is working as collector
02/Jul/2019 11:13:50 [nprobe.c:7987] Using NetFlow Packet Payload Len: 1472
02/Jul/2019 11:13:50 [nprobe.c:7917] @NTOPNG@ expanded to " %L7_PROTO %IPV4_SRC_ADDR %IPV4_DST_ADDR %L4_SRC_PORT %L4_DST_PORT %IPV6_SRC_ADDR %IPV6_DST_ADDR %IP_PROTOCOL_VERSION %PROTOCOL %IN_BYTES %IN_PKTS %OUT_BYTES %OUT_PKTS %FIRST_SWITCHED %LAST_SWITCHED %SRC_VLAN  %EXPORTER_IPV4_ADDRESS"
02/Jul/2019 11:13:50 [plugin.c:1278] 0 plugin(s) enabled
02/Jul/2019 11:13:50 [nprobe.c:8439] Each flow is 82 bytes long
02/Jul/2019 11:13:50 [nprobe.c:8440] The # flows per packet has been set to 16
02/Jul/2019 11:13:50 [nprobe.c:8443] IP TOS is accounted
02/Jul/2019 11:13:50 [nprobe.c:8469] Non IPv4/v6 traffic is discarded according to the template
02/Jul/2019 11:13:50 [util.c:507] Loaded database /usr/share/ntopng/httpdocs/geoip/GeoLite2-ASN.mmdb [ip_version: 6]
02/Jul/2019 11:13:50 [nprobe.c:9348] Not capturing packet from interface (collector mode)
02/Jul/2019 11:13:50 [util.c:4725] Initializing ZMQ as server
02/Jul/2019 11:13:50 [util.c:4768] Succesfully created ZMQ endpoint tcp://*:5556
02/Jul/2019 11:13:50 [util.c:3794] nProbe changed user to 'nprobe'
02/Jul/2019 11:13:50 [collect.c:142] Flow collector listening on port 2055 (IPv4/v6)
02/Jul/2019 11:13:50 [nprobe.c:9594] nProbe started successfully
^C02/Jul/2019 12:08:47 [nprobe.c:567] Received shutdown request... [signal: 2]
02/Jul/2019 12:08:48 [nprobe.c:6329] Flushing active flows
02/Jul/2019 12:08:50 [nprobe.c:3147] Processed packets: 0 (max bucket search: 1)
02/Jul/2019 12:08:50 [nprobe.c:3130] Fragment queue length: 0
02/Jul/2019 12:08:50 [nprobe.c:3157] Flow collection stats:  [collected pkts: 802][processed flows: 8117]
02/Jul/2019 12:08:50 [nprobe.c:3160] Flow export stats:      [0 bytes/0 pkts][0 flows/0 pkts sent]
02/Jul/2019 12:08:50 [nprobe.c:3166] Flow export drop stats: [0 bytes/0 pkts][0 flows]
02/Jul/2019 12:08:50 [nprobe.c:3171] Total flow stats:       [0 bytes/0 pkts][0 flows/0 pkts sent]
root@g710:~# 
Installationsanleitung/Repos für alles: http://packages.ntop.org/apt-stable/
Paket nbox nicht gefunden, ist ein grafisches Tool für Konfiguration von ntopng und nprobe: https://truepath.zendesk.com/hc/en-us/a ... and-nProbe

Test-Konfiguration Debianntopng:

Code: Alles auswählen

su -
cp /etc/ntopng/ntopng.conf /etc/ntopng/ntopng.conf.original
rm /etc/ntopng/ntopng.conf
nano /etc/ntopng/ntopng.conf
-G=/var/run/ntopng.pid
-w=127.0.0.1:3005
-i=tcp://127.0.0.1:5556
--community
Speichern
service ntopng restart
ntopng startet nach Installation automatisch per systemD, siehe

Code: Alles auswählen

top
service ntopng status
Paket softflowd auf pfSense einstellen:
Interfaces: lokale Interfaces und WAN
Netzwerkadresse vom Host mit nprobe (bei mir Laptop)
Port 2055
Neflow Version 9
Flow Tracking Level VLAN

Gesamtprinzip: https://www.ntop.org/guides/ntopng/case ... probe.html (links, Netflow/SFlow)
Konfigurationsdatei und Start mit systemD für nprobe:
https://www.ntop.org/guides/nprobe/how_to_start.html

Aufruf von Debianntopng im Web-Browser:

Code: Alles auswählen

127.0.0.1:3005
auffällig:
durch NAT Flows lokal <-> Internet mit WAN-IP angezeigt (zumindest mit ntopng-Grundeinstellungen)
DPI-Inhalte werden mit dieser einfachen Konfig nicht angezeigt, Feld "info" meist leer, für ndpi gibt es kostenpflichtige Addons.
Anzeige der DNS-Namen der IPs (reverse lookup) fehlt

Im Vergleich zum ntopng-Paket auf der pfSense jede Menge Gefrickel für wohl wenig mehr Nutzen durch historische Flows.

Antworten