Komplexere Suche in Textdateien...

[desputin]

Hallo Tobo, ja, die Liste von Meinestadt.de wäre perfekt.
Ich würde die Liste dann einfach mal mit der Liste von Wikipedia (100 größte Städte in Deutschland) abgleichen und diese 100 entfernen - und dann müßte in etwa das dabei herauskommen, was ich benötige.

Und oder halt noch besser mit dieser Liste von destatis abgleichen, die auch die konkreten Bevölkerungszahlen enthält:
https://www.destatis.de/DE/ZahlenFakten ... chnis.html

In beiden Fällen wäre das für ein Script aber sicherlich schon ein Brocken mit 11.000 Städtenamen. Zumal meine zu durchsuchende Textdatei bald an die 1 GB herangeht...

[tobo]

In beiden Fällen wäre das für ein Script aber sicherlich schon ein Brocken mit 11.000 Städtenamen. Zumal meine zu durchsuchende Textdatei bald an die 1 GB herangeht...

Kommt drauf an, wieviele E-Mail-Adressen gefunden werden. Aber das dürfte kein Flaschenhals sein. Eine Suche etwa wie "grep -E "sortierte|10|Wörter" SortierteOrtsListe.txt" oder "comm -12 <(echo -e sortierte\n10\nWörter) SortierteOrtsListe.txt" bekommste mehr als hundertfach in der Sekunde hin. Comm bei mir etwa im Faktor 3 bis 4 schneller. Zeitlich anspruchsvoller ist bestimmt das Finden der E-Mail-Adressen!?

[schwedenmann]

Hallo


Wäre dann nicht bald der Einsatz eines Datenanalysetools wie zum Beispiel Python Panda anzuraten

mfg
schwedenmann

[heisenberg]

Das Skript auf github kann jetzt zu der E-Mailadresse auch die näheste Kategorie finden.

Das Ganze jetzt noch für den Ort / die Stadt zu erweitern ist nur noch eine Kleinigkeit und Anwendung des existierenden Codes.

Der Aufruf ist(anders als es im Moment noch im Skript steht):

Code: Alles auswählen

Aufruf: ./prog.awk orte.txt haupttext.txt haupttext.txt

Also zweimal haupttext.txt.

Einladung an alle Interessierten, den Code zu verstehen und zu vervollständigen.

Zumindest ein kurzes awk-Tutorial zu lesen ist dabei bestimmt hilfreich.

https://codeberg.org/megabert/script-pa ... n/awk-near

[desputin]

Hallo Heisenberg, super. Noch mal vielen Dank.
Ich werde jetzt noch mal meine Seite Crawlen mit Yacy (dauert noch ne Weile, weil super unfangreich) und dann werde ich das mal nächste Woche testen mit dem Script!