Tool zur XML Datei Verarbeitung, wie bauen?

Smalltalk
Antworten
Benutzeravatar
whisper
Beiträge: 3184
Registriert: 23.09.2002 14:32:21
Lizenz eigener Beiträge: GNU Free Documentation License
Kontaktdaten:

Tool zur XML Datei Verarbeitung, wie bauen?

Beitrag von whisper » 24.09.2017 20:14:59

Angenommen, ich würde gerne ein kleines Tool schreiben, das ca. 300 xml Dateien, alle im ähnlichen Schema durchsuchen soll und als Output eine Text Datei generieren. Die Input XML haben alle ca. 500k pro File.
Ist es da eine dumme Idee, das mit mit Linux Bordmitteln, sed, awk, grep usw. zu versuchen?
Sollte ich z.B. Freebasic nehmen?
C ist eingerostet, Basic geht eben so und awk bin ich auch lange raus.
So richtig komplex ist es eigentlich nicht, würde aber gerne mal eure Argumente hören.
XML ist ja sehr geschwätzig, deshalb fürchte ich, dass es mit Bordmitteln etwas komplex werden wird.
Also Freebasic? Hätte den Vorteil, dass eine Gui und Platformunabhängigkeit frei Haus geliefert wird.
Sehe gerade, es gibt auch Libs für XML, die Frage habe ich mir gerade selber beantwortet, oder?
Zuletzt geändert von whisper am 24.09.2017 20:55:35, insgesamt 1-mal geändert.

Radfahrer

Re: Guten Abend

Beitrag von Radfahrer » 24.09.2017 20:18:42

Cooler Threadtitel. Man weiß sofort, worum es geht. :wink:

DeletedUserReAsG

Re: Guten Abend

Beitrag von DeletedUserReAsG » 24.09.2017 20:22:47

Ich wünsche auch einen guten Abend.

Benutzeravatar
TRex
Moderator
Beiträge: 8069
Registriert: 23.11.2006 12:23:54
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: KA

Re: Guten Abend

Beitrag von TRex » 24.09.2017 20:25:22

Ich weiß ja noch nicht, wohin die Reise führt, aber sofern du nicht wie ein Banause mit Stringfunktionen auf dem XML rumhacken willst, führt nur wenig an XPath/XSLT vorbei. Da gibts ein paar Threads zu, und dann fühlt sich das Ergebnis auch richtig an und ist performant (zumindest, wenn das Ergebnis nicht auch trivial mit grep erreichbar gewesen wäre).

Tools dafür wären auf der CLI zB Debianxmlstarlet, für Programmiersprachen Debianlibxml in allen Formen (der Link funktioniert nicht direkt, man klicke auf die 100). Letztlich wird sich aber der Kern sehr ähneln, sofern du auf XML-Tooling setzt.


Edit: und pass doch bitte den Titel an. Wenn du es nicht machst, mach ich es.
Jesus saves. Buddha does incremental backups.
Windows ist doof, Linux funktioniert nichtDon't break debian!Wie man widerspricht

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Guten Abend

Beitrag von Lord_Carlos » 24.09.2017 20:35:32

Eigentlich haben alle Programiersprachen ein Weg XML Daten als Objekte zu lesen, das macht das ganze einfacher als nach strings zu grebben.

Python oder sogar JavaScript waeren zwei Kandidaten.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
whisper
Beiträge: 3184
Registriert: 23.09.2002 14:32:21
Lizenz eigener Beiträge: GNU Free Documentation License
Kontaktdaten:

Re: Tool zur XML Datei Verabeitung, wie bauen?

Beitrag von whisper » 24.09.2017 20:56:45

LOL, der Titel war ja Oskar reif ... angepasst ;-)

ViNic

Re: Tool zur XML Datei Verabeitung, wie bauen?

Beitrag von ViNic » 24.09.2017 22:16:59

Ich glaube eine halbwegs performante Skript-Sprache wären das mindeste, oder eben eine moderne Programmiersprache. Freebasic hört sich etwas "freakig" an. Womöglich wäre Python als moderne und aktuelle Skript-Sprache die bessere Wahl. Man findet viel Informationen im Netz. Und dafür gibt es dann Werkzeuge um XML zu verarbeiten.

Benutzeravatar
Meillo
Moderator
Beiträge: 8813
Registriert: 21.06.2005 14:55:06
Wohnort: Balmora
Kontaktdaten:

Re: Tool zur XML Datei Verarbeitung, wie bauen?

Beitrag von Meillo » 25.09.2017 06:37:21

Wenn du nicht gerade Lust hast, dich mit XSLT zu befassen, dann wuerde ich dafuer eine moderne Scriptsprache verwenden. Da kannst du viel mit Duct-Tape-Programmieren (d.h. auf Stackoverflow suchen und dann irgendwie zusammenkleben) hinkriegen.

Falls du dich aber mit Freebasic auskennst und es dafuer eine XML-Bibliothek gibt, dann mach's ruhig damit.
Use ed once in a while!

Benutzeravatar
whisper
Beiträge: 3184
Registriert: 23.09.2002 14:32:21
Lizenz eigener Beiträge: GNU Free Documentation License
Kontaktdaten:

Re: Tool zur XML Datei Verarbeitung, wie bauen?

Beitrag von whisper » 26.09.2017 21:59:51

Freebasic ist die Mutter von GCBasic, da steige ich gerade intensiv ein. Damit hängt meine Frage auch zusammen.
War nur schnell dahin gerotzt. Sorry für meine Ausdrucksweise, aber Gottseidank war's ja in smalltalk :-)
In ein paar Wochen werde ich mein erstes Projekt damit fertig gestellt haben, dann mache ich ein Video und schreibe hier mal für die Interessierten eine kleine Zusammenfassung.
Hervorgegangen ist die Aktivität aus meiner Zusage für das nun tote "Freies Magazin", einen Artikel über Microcontroller zu schreiben. Ja das ist schon wieder fast ein Jahr her :-(

Benutzeravatar
whisper
Beiträge: 3184
Registriert: 23.09.2002 14:32:21
Lizenz eigener Beiträge: GNU Free Documentation License
Kontaktdaten:

Re: Tool zur XML Datei Verarbeitung, wie bauen?

Beitrag von whisper » 27.09.2017 17:13:59

Meillo hat geschrieben: ↑ zum Beitrag ↑
25.09.2017 06:37:21

Falls du dich aber mit Freebasic auskennst und es dafuer eine XML-Bibliothek gibt, dann mach's ruhig damit.
Auskennen ist jetzt etwas hochgegriffen, aber xlm gibts gleich mehrere Libs, eine davon ist Standard, damit werde ich es dann, wenn es soweit ist, probieren.
Momentan bin ich eh wieder mehr im Zwischenraum unterwegs, also die Zone zwischen Löten und Programmieren.
Siehe auch auf meinem Bolg, da habe ich etwas dazu geschrieben.

Benutzeravatar
Meillo
Moderator
Beiträge: 8813
Registriert: 21.06.2005 14:55:06
Wohnort: Balmora
Kontaktdaten:

Re: Tool zur XML Datei Verarbeitung, wie bauen?

Beitrag von Meillo » 27.09.2017 17:56:19

whisper hat geschrieben: ↑ zum Beitrag ↑
27.09.2017 17:13:59
Momentan bin ich eh wieder mehr im Zwischenraum unterwegs, also die Zone zwischen Löten und Programmieren.
Ist das denn auch eine Twilight Zone? ;-)

Ich finde deine Beitraege immer wieder ganz interessant, gerade weil ich diese Zone eigentlich nie betrete. Meine Welt beginnt mit C und Unix aufwaerts. Hin und wieder schiele ich etwas sehnsuechtig zu den Hardwarebastlern rueber, weil die auch mal was in die Hand nehmen koennen, waehrend all meine Erzeugnisse virtuell sind und deren Schoenheit nur mit grossen Aufwand und nur von Wenigen verstanden werden kann. Das ist halt der Preis dafuer, dass man keine Rohstoffkosten hat, dass der einzige Aufwand Zeit ist und dass man fast nur von der eigenen Kreativitaet beschraenkt ist.
Use ed once in a while!

ViNic

Re: Tool zur XML Datei Verarbeitung, wie bauen?

Beitrag von ViNic » 27.09.2017 20:25:35

Meillo hat geschrieben: ↑ zum Beitrag ↑
27.09.2017 17:56:19
whisper hat geschrieben: ↑ zum Beitrag ↑
27.09.2017 17:13:59
Momentan bin ich eh wieder mehr im Zwischenraum unterwegs, also die Zone zwischen Löten und Programmieren.
Ist das denn auch eine Twilight Zone? ;-)

Ich finde deine Beitraege immer wieder ganz interessant, gerade weil ich diese Zone eigentlich nie betrete. Meine Welt beginnt mit C und Unix aufwaerts. Hin und wieder schiele ich etwas sehnsuechtig zu den Hardwarebastlern rueber, weil die auch mal was in die Hand nehmen koennen, waehrend all meine Erzeugnisse virtuell sind und deren Schoenheit nur mit grossen Aufwand und nur von Wenigen verstanden werden kann. Das ist halt der Preis dafuer, dass man keine Rohstoffkosten hat, dass der einzige Aufwand Zeit ist und dass man fast nur von der eigenen Kreativitaet beschraenkt ist.
+1

Wir sind alle eben unterschiedlich. Die meiste Erfahrung habe mich in der Webentwicklung. Momentan versuche ich mich in C# und Visual Studio reinzuarbeiten. Das wiederum brauche ich für ein berufliches Projekt, welche Hardwareprogrammierung beinhaltet. Nach mehrwöchigem Kampf glaube ich nicht das aus mir ein C#-Entwickler wird. Von der Hardwareprogrammierung mit C# ganz zu schweigen. Man muss nicht alles können. Gut ist, wenn man vieles ausprobiert und das was einem wohl am besten liegt, auch voran treibt. Wo man seine "Schwächen" hat, ergänzt ein anderer mit seinen Stärken.

Benutzeravatar
whisper
Beiträge: 3184
Registriert: 23.09.2002 14:32:21
Lizenz eigener Beiträge: GNU Free Documentation License
Kontaktdaten:

Re: Tool zur XML Datei Verarbeitung, wie bauen?

Beitrag von whisper » 28.09.2017 10:27:29

ViNic hat geschrieben: ↑ zum Beitrag ↑
27.09.2017 20:25:35
Man muss nicht alles können. Gut ist, wenn man vieles ausprobiert und das was einem wohl am besten liegt, auch voran treibt. Wo man seine "Schwächen" hat, ergänzt ein anderer mit seinen Stärken.
Sowas nennt man dann "Winning Team" Ist hier auch so, bin mit er Situation sehr glücklich.
Zur Klarstellung, Hardware ist nur Hobby

Benutzeravatar
whisper
Beiträge: 3184
Registriert: 23.09.2002 14:32:21
Lizenz eigener Beiträge: GNU Free Documentation License
Kontaktdaten:

Re: Tool zur XML Datei Verarbeitung, wie bauen?

Beitrag von whisper » 28.09.2017 10:34:21

Meillo hat geschrieben: ↑ zum Beitrag ↑
27.09.2017 17:56:19

Ich finde deine Beitraege immer wieder ganz interessant, gerade weil ich diese Zone eigentlich nie betrete.

:THX: Danke
Meillo hat geschrieben: ↑ zum Beitrag ↑
27.09.2017 17:56:19
Hin und wieder schiele ich etwas sehnsuechtig zu den Hardwarebastlern rueber, weil die auch mal was in die Hand nehmen koennen, waehrend all meine Erzeugnisse virtuell sind und deren Schoenheit nur mit grossen Aufwand und nur von Wenigen verstanden werden kann. Das ist halt der Preis dafuer, dass man keine Rohstoffkosten hat, dass der einzige Aufwand Zeit ist und dass man fast nur von der eigenen Kreativitaet beschraenkt ist.
Das Problem des Unverständnisses habe ich aber auch im Hardware Sektor.
Ich präsentiere stolz ein blinkendes Display, weil es das erste Lebenszeichen einer neuen Hardware und Firmware ist, dann kommt die Frage ...und was kann man damit machen? :roll:
Muss man mit leben, und sich Nerds suchen, die einen verstehen, oder nur Sachen zeigen, die fertig sind. Aber dann wird man gefragt, warum sitzt du wochenlang da dran und man sieht nix :mrgreen:

Benutzeravatar
Meillo
Moderator
Beiträge: 8813
Registriert: 21.06.2005 14:55:06
Wohnort: Balmora
Kontaktdaten:

Re: Tool zur XML Datei Verarbeitung, wie bauen?

Beitrag von Meillo » 28.09.2017 10:49:43

whisper hat geschrieben: ↑ zum Beitrag ↑
28.09.2017 10:34:21
Ich präsentiere stolz ein blinkendes Display, weil es das erste Lebenszeichen einer neuen Hardware und Firmware ist, dann kommt die Frage ...und was kann man damit machen? :roll:
Das ist die typische ``Black Triangle'' Geschichte: http://rampantgames.com/blog/?p=7745
... mit dem Phaenomen kann man Insider und Outsider klassifizieren. ;-)
Use ed once in a while!

Benutzeravatar
whisper
Beiträge: 3184
Registriert: 23.09.2002 14:32:21
Lizenz eigener Beiträge: GNU Free Documentation License
Kontaktdaten:

Re: Tool zur XML Datei Verarbeitung, wie bauen?

Beitrag von whisper » 28.09.2017 11:49:44

Meillo hat geschrieben: ↑ zum Beitrag ↑
28.09.2017 10:49:43
Das ist die typische ``Black Triangle'' Geschichte: http://rampantgames.com/blog/?p=7745
... mit dem Phaenomen kann man Insider und Outsider klassifizieren. ;-)
Kannte ich noch nicht... passt!

Milbret
Beiträge: 827
Registriert: 26.05.2008 12:04:54
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Nörten-Hardenberg
Kontaktdaten:

Re: Tool zur XML Datei Verarbeitung, wie bauen?

Beitrag von Milbret » 28.09.2017 20:55:41

Hier bietet sich XSLT gerade zu an, da es genau für diesen Zweck gedacht ist.
Du willst "einfach" nur deine XML Dateien in Textdateien umwandeln.
Und genau dafür ist XSLT gedacht, also die Umwandlung der XML Datei in ein anderes format mit dem gleichen Aufbau der enthaltenen Daten.
Dies sollte mir entsprechenden Mitteln, je nach dem wie dein Format aussehen muss, dann umsetzbar sein.

Martin
Es gibt keine if Schleife -> http://www.if-schleife.de/
Ansonsten GPL/GNU/Linux/Debian/Free Software 4 Ever :D

Antworten