(gelöst) sed im shellscript(?)

[guennid]

Ich habe hier dieses im Prinzip von eggy gelieferte sed-Kommando:

Code: Alles auswählen

sed s/$'\u201E'/°/g test.txt > test-neu.txt

. Das Kommando funktioniert, eingegeben im Terminal. Es ersetzt alle deutschen führenden typografischen Anführungszeichen, also '„' durch das Zeichen '°' in der Datei test.txt und schreibt den geänderten Inhalt in die Datei test-neu.txt. Wie kriege ich dieses Kommando in ein shellscript, so dass es beim Starten dieses scripts ausgeführt wird? Kann sein, dass ich das schon mal erfragt habe oder die Antwort schon mal im Netz gefunden habe, aber seit Stunden finde ich es nicht wieder und auch umfangreich von mir eingesehene im Netz zu findende Beschreibungen von sed habe ich diesbezüglich nicht verstanden.

Grüße, Günther

[Meillo]

... indem du es einfach reinschreibst? Ich verstehe die Frage nicht recht. Ein Shellscript ist einfach nur eine Liste von Befehlen, die genau so sind, wie wenn du sie in der Shell direkt eingeben wuerdest.

Du legst also eine Datei an, die so aussieht:

Code: Alles auswählen

#!/bin/bash
sed s/$'\u201E'/°/g test.txt > test-neu.txt

machst diese ausfuehrbar und -- voila -- da hast du dein Shellscript, das diesen Befehl beim Aufruf ausfuehrt.


Im Uebrigen waere auch hier tr(1) passender als sed(1):

Code: Alles auswählen

tr $'\u201E' ° <test.txt >test-neu.txt

[guennid]

Tja, was soll ich sagen, funktioniert. Danke!
Aber warum funktioniert

Code: Alles auswählen

#!/bin/sh

als erste Zeile nicht?

Seit gestern mittag probier ich rum, suche das Internet rauf und runter, aber dass es am nicht vorhandenen

Code: Alles auswählen

#!/bin/bash

liegen könnte, darauf war ich nicht gekommen.

[Meillo]

Weil $'...' ein Bashism ist, darum.

[MaGe]

@ guennid

Bourne Shell Scripts lassen sich generell wie folgt aufrufen:

http://kirste.userpage.fu-berlin.de/che ... ts_sh.html


gruss MaGe

[guennid]

Nun, dann hätt's ja doch mit

Code: Alles auswählen

#!/bin/sh

eigentlich funktionieren sollen? Ich ging bisher davon aus, dass /bin/sh ein Link auf /bin/bash ist, jedenfalls nicht einer auf /bin/dash. ich meine mitbekommen zu haben, dass da mal was mit zshell war, weswegen man beim debootstrappen (seit wann, erinnere ich nicht mehr) explizit die bash für root angeben soll, um unangenehme Überraschungen zu vermeiden. Für mich als User ziemlich verwirrend. Aber nun gut, jetzt weiß ich's.

Kann mir jemand dieses Konstrukt erklären:

Code: Alles auswählen

$'\u201E'

Ich meine zu wissen, dass '$' anzeigt, dass der nachfolgende Ausdruck als Variable gehandelt wird und zwar, dass deren Inhalt genommen werden soll, aber welche Bedeutung der Backslash und die beiden Hochkommas da haben, weiß ich nicht. Dass 'u201E' wiederum die hexadezimale utf-8-Nummer für '„' ist, meine ich ebenfalls herausgefunden zu haben.

Grüße, Günther

[Meillo]

/bin/sh kann ein Link auf eine beliebige Bourne-kompatible Shell sein. Wenn man sie als ``sh'' aufruft, befindet sie sich evtl. in einem eingeschraenkten Feature-Modus. Jedenfalls kann man bei einem Aufruf von /bin/sh nur ein begrenztes Feature-Set erwarten. (Man kann POSIX hier zur Orientierung nehmen, aber je nach System bietet /bin/sh deutlich weniger. Auf SunOS beispielsweise hat /bin/sh kein `test -e'.)

Wenn du Bash-Features verwendest (oder dir die Ahnung in diesem Thema fehlt) dann nimm /bin/bash.

[Meillo]

Kann mir jemand dieses Konstrukt erklären:

Code: Alles auswählen

$'\u201E'

Ich meine zu wissen, dass '$' anzeigt, dass der nachfolgende Ausdruck als Variable gehandelt wird und zwar, dass deren Inhalt genommen werden soll, aber welche Bedeutung der Backslash und die beiden Hochkommas da haben, weiß ich nicht. Dass 'u201E' wiederum die hexadezimale utf-8-Nummer für '„' ist, meine ich ebenfalls herausgefunden zu haben.

Ein erster Ansatzpunkt waere, in der Manpage der Bash nach $' und nach \u zu suchen. Da wirst du sicherlich fuendig werden.

Wenn du nicht weisst wie man im Terminal in den Manpages nach Sonderzeichen suchst, dann versuche es mit Online-Manpages im Browser. Manpages gibt's auch auf Deutsch, falls das ein Thema waere.

Dann erklaere uns was du verstanden hast. Wir koennen das dann bestaetigen oder korrigieren.

[guennid]

$':

Words of the form $'string' are treated specially. The word expands to string, with backslash-escaped characters replaced as specified by the ANSI C standard.

\u:

Prompting

When executing interactively, bash displays the primary prompt PS1 when it is ready to read a command, and the secondary prompt PS2 when it needs more input to complete a command. Bash allows these prompt strings to be customized by inserting a number of backslash-escaped special characters that are decoded as follows:
[...]
\u
the username of the current user

Ein wenig Englisch kann ich. Dies hier versteh' ich im gegebenen Zusammenhang nicht. Und ich befürchte, ein englischsprachiger Nichtinformatiker versteht's auch nicht.


Grüße, Günther

[MSfree]

\u
the username of the current user

Hast du eine veraltete Manpage?

In meiner Manpage steht nämlich auch:

Code: Alles auswählen

 \uHHHH the  Unicode  (ISO/IEC 10646) character whose value is the hexadecimal value
   HHHH (one to four hex digits)

Und "201E dürfte der Unicode-Wert für dein "untenliegendes Gänsefüßchen" sein.

[guennid]

Hast du eine veraltete Manpage?

Mag sein, ich habe Meillo beim Browser beim Wort genommen: https://linux.die.net/man/1/bash. Mit dem Durchsuchen von Terminalausgaben tu' ich mich als Laie schwer.

Und "201E dürfte der Unicode-Wert für dein "untenliegendes Gänsefüßchen" sein

Das glaubte ich, war mir klar. Ich hätte das davorstehende 'u' in meiner Tumbheit allerdings für einen Bestandteil des Unicode-Wertes gehalten.

Grüße, Günther

[MSfree]

Mit dem Durchsuchen von Terminalausgaben tu' ich mich als Laie schwer.

Ist eigentlich gar nicht so schwer:

nach Aufruf von man bash leitet man mit dem / eine Suche ein, Cursor steht unten links im Terminal und wartet auf Eingabe. Dann tippt man den Suchstring, wobei \ "escaped" werden muß, also \\ geschrieben werden muß, gefolgt vom u und ENTER.

Mit den Tasten n und N wird dann die jeweils nächste/vorherige Stelle angesprungen.

Weitere Details unter man less, denn less ist der Pager (Blätterer) für die man-Pages.

[guennid]

Merkst du's: Statt die Frage zu klären, kommen wir von Hölzchen auf Stöckchen.

Im Grunde ist jedermann eh klar, was hier Sache ist: sed soll „Gänsefüßchen“ ersetzen. Verstehen will ich, wieso das hier eines Dollarzeichens, eines Backslashes, eines 'u's und zweier "Luftkommas" bedarf. .

Grüße, Günther

[Meillo]

Im Grunde ist jedermann eh klar, was hier Sache ist: sed soll „Gänsefüßchen“ ersetzen. Verstehen will ich, wieso das hier eines Dollarzeichens, eines Backslashes, eines 'u's und zweier "Luftkommas" bedarf. .

Warum gibst du dann das Zeichen nicht einfach direkt ein?

[Meillo]

Und "201E dürfte der Unicode-Wert für dein "untenliegendes Gänsefüßchen" sein

Das glaubte ich, war mir klar. Ich hätte das davorstehende 'u' in meiner Tumbheit allerdings für einen Bestandteil des Unicode-Wertes gehalten.

Es ist nicht einfach, in einer Zeichenmenge, die korrekte Unterteilung durchzufuehren.

Das Dollarzeichen hat verschiedene Bedeutungen, je nach Kontext.

Das `u' gehoert zum vorausgehenden Backslash, die darauffolgende `2' aber nicht. Das ist fuer Laien nicht einfach sichtbar.

Und dass dieses ganze Konstrukt $'...' gar nichts mit sed(1) zu tun hat, sondern von der Bash ausgewertet wird, bevor es ueberhaupt bei sed ankommt, erkennt ein Unbedarfter auch nicht auf den ersten Blick.

Diese Hilfestellung habe ich versucht in meinem Post zu geben: Ich habe das Konstrukt in seine relevanten Teile zerlegt und dir Zeichenfolgen bereitgestellt, unter denen du in der Manpage etwas finden wirst. Zudem habe ich dir gesagt, welche Manpage die richtige ist. Das kann man als Laie nicht unbedingt selber leisten.

Merkst du's: Statt die Frage zu klären, kommen wir von Hölzchen auf Stöckchen.

Es ist nunmal so, dass dies ein komplexes Thema ist, das man nur verstehen kann, wenn man es zerlegt, die Bestandteile kennenlernt, die einzeln verstehen lernt, ihre Zusammenhaenge verstehen lernt ... Hoelzchen und Stoeckchen.

Eine funktionierende Loesung, die du nicht verstehen musst, hast du ja schon. Ich finde es eigentlich gut, dass du wissen willst, warum es tut oder nicht tut und was das Zeug, das du nicht kennst, ist. Jede dieser Fragen fuehrt aber zu Zusammenheangen mit einem Gesamtsystem, das man als Gesamtheit betrachten muss. Die richtigen Antworten liegen im Verstehen aller Komponenten und ihrer Beziehungen. Man kann das Verstehen schrittweise angehen, die Luecken nach und nach fuellen, aber man muss sich im Klaren darueber sein, dass sich keiner dieser Fragen schnell und einfach klaeren lassen. Das was du in dem Satz formulierst (``die Frage zu klaeren'') ist nicht einfach moeglich. Es geht nur ueber viele Hoelzchen und Stoeckchen zu einem Gesamtverstaendnisses aller beteiligten Teile.

[guennid]

Warum gibst du dann das Zeichen nicht einfach direkt ein?

Weil, wenn du dich an unseren kleinen Disput aus der Vergangenheit erinnerst, mir das - auch durch den Dialog mit eggy - nicht immer, nicht bei jedem Zeichen machbar erschien, jedenfalls nicht für meine Zwecke. Dafür möchte ich gewappnet sein. - Ich muss UTF8-Dateien in DOS-ASCII konvertieren und zwar aus einem DOS-Programm heraus. Das war damals schon der Grund, warum auch eggy von tr abkam und mich bei sed unterstützt hatte. Und ich krieg's sogar hin. Ich werde dich auch wohl noch weiter nerven mit Code-Optimierung, aber zunächst mal verstünde ich halt gern, was ich so tue.

Zudem habe ich dir gesagt, welche Manpage die richtige ist.

Ich dachte, mich an deine Angaben gehalten zu haben. Und bisher hat mir auch keiner gesagt, dass ich sie falsch verstanden habe. Aber sie haben mich bisher keiner Antwort auf meine Fragen näher gebracht.

Das Dollarzeichen hat verschiedene Bedeutungen, je nach Kontext.

Nehm' ich zur Kenntnis und wüsste trotzdem gerne, welche es denn nun im konkreten Zusammenhang hat. Und ich behaupte, das kann ich durchaus verstehen, auch ohne die anderen Kontexte zu verstehen, wenn man's mir denn erklärt - was man nicht muss.

Grüße, Günther

[Meillo]

Zudem habe ich dir gesagt, welche Manpage die richtige ist.

Ich dachte, mich an deine Angaben gehalten zu haben. Und bisher hat mir auch keiner gesagt, dass ich sie falsch verstanden habe. Aber sie haben mich bisher keiner Antwort auf meine Fragen näher gebracht.

Vermutlich war die Online-Manpage halt von einer aelteren Version der Bash. Hast du die Versionsangabe verglichen? Es gibt verschiedene Online-Manpages-Websites, die, wie es aussieht, unterschiedliche Versionen der Manpage bereitstellen.

Das Dollarzeichen hat verschiedene Bedeutungen, je nach Kontext.

Nehm' ich zur Kenntnis und wüsste trotzdem gerne, welche es denn nun im konkreten Zusammenhang hat.

Das genau steht ja in der Manpage, darum nur schlagen wir dort ja nach.

Hier der relevante Abschnitt:

Code: Alles auswählen

       Words  of  the form $'string' are treated specially.  The
       word expands to string, with backslash-escaped characters
       replaced  as specified by the ANSI C standard.  Backslash
       escape sequences, if present, are decoded as follows:
[...]
              \uHHHH the Unicode (ISO/IEC 10646) character whose
                     value is the hexadecimal value HHHH (one to
                     four hex digits)
[...]
       The  expanded  result  is single-quoted, as if the dollar
       sign had not been present.

Im Internet findet man das sicher auch in der deutschen Version der Manpage auf Deutsch irgendwo ... oder wenn man deutsche Manpages installiert hat auch auf dem eigenen Rechner. (Ich kann dir derzeit nichts von beidem bieten.)

Und ich behaupte, das kann ich durchaus verstehen, auch ohne die anderen Kontexte zu verstehen, wenn man's mir denn erklärt - was man nicht muss.

Geht es dir also um das Uebersetzen der technischen Sprache der Manpage in eine einfachere Sprache? Oder um etwas anderes?

[MSfree]

Vermutlich war die Online-Manpage halt von einer aelteren Version der Bash.

Auf jeden Fall. Im Büro habe ich noch ein Lenny laufen, das auf man bash die Unicodegeschichte auch nicht zeigt. Meine Kisten zuhause, die unter Jessie und neuer laufen, beschreiben die \uHHHH Option.

[guennid]

Geht es dir also um das Uebersetzen der technischen Sprache der Manpage in eine einfachere Sprache?

Mit der Frage weiß ich nichts anzufangen. Es geht mir, wie schon gesagt, um eine für mich nachvollziehbare Erläuterung des Ausdrucks (sed s/$'\u201E'). Die manpage liefert dazu via der von Meillo vermittelten Suchbegriffe $' und \u einige Hinweise, die mir aber nicht genügen, sprich, die ich nicht für allgemeinverständlich halte. Eine Hauptschwierigkeit scheinen mir die Ausdrücke quotieren und expandieren darzustellen, deren Bedeutung in der Informatik offenbar von der allgemeinen abweicht, wobei ich noch unschlüssig bin, ob die Schwierigkeiten nicht auch daher rühren, dass die Begriffe - je nach Kontext - dasselbe meinen können.

Ich versuche mal, mein derzeitiges Verständnis des genannten Ausdrucks vor dem Hintergrund meiner sporadischen Lektüre so zu formulieren, wie ich es für allgemein verständlich(er) halte:
(\u) signalisiert der Benutzerschnittstelle bash, dass die nachfolgende utf8-Nummer (201E) durch das sie repräsentierte Zeichen ersetzt wird. Durch die beiden Apostrophe ('...') wird dieses Zeichen („ (deutsche „Gänsefüßchen unten“)) (und nicht die an seiner Stelle stehende Nummer) in eine Variable gesteckt und deren Inhalt via ($) als zu ersetzendes Zeichen (s) an sed übergeben.

Das Zeichen (/) wird hier von sed als Trennzeichen interpretiert, das die Option s (ersetze) unterscheidet von dem, was ersetzt werden soll („).

Grüße, Günther

[wanne]

Auf jeden Fall. Im Büro habe ich noch ein Lenny laufen, das auf man bash die Unicodegeschichte auch nicht zeigt. Meine Kisten zuhause, die unter Jessie und neuer laufen, beschreiben die \uHHHH Option.

Nur weils mich interessiert: Kannst du mal ausprobieren ob die bash aus lenny das schon kann? Also

Code: Alles auswählen

echo $'\u201E'

Asonsten kannst du so unabhängig von der shell dein „ über printf erzeugen.

Code: Alles auswählen

sed s/$(/usr/bin/printf '\u201E')/°/g test.txt > test-neu.txt

Eine reine sed-Variante wäre dieda:

Code: Alles auswählen

sed -E 's,\xe2\x80\x9e,a,g'

Die geht aber davon aus, dass deine Datei UTF-8 encodiert ist. UTF-16 wäre z.B. ff fe 1e 20

Edit: Wtf: printf ist ne dash extention... Mann muss mit vollem Pfad aufrufen, damit die das echte Programm nimmt.

[Meillo]

Edit: Wtf: printf ist ne dash extention... Mann muss mit vollem Pfad aufrufen, damit die das echte Programm nimmt.

Ja! Die Folgen von Builtins habe ich immer wieder kritisiert. Aber Builtins nehmen leider eher zu als ab.

[MSfree]

Nur weils mich interessiert: Kannst du mal ausprobieren ob die bash aus lenny das schon kann? Also

Code: Alles auswählen

echo $'\u201E'

Das Ergebnis lautet:

Code: Alles auswählen

\u201E

das geht da also noch nicht.

[Meillo]

Nur weils mich interessiert: Kannst du mal ausprobieren ob die bash aus lenny das schon kann? Also

Code: Alles auswählen

echo $'\u201E'

Das Ergebnis lautet:

Code: Alles auswählen

\u201E

das geht da also noch nicht.

Welche Version der Bash ist das in Lenny (Debian 5)?

In Wheezy (Debian 7) ist's 'ne Bash-4.2.37. Mit der geht's.

[wanne]

Welche Version der Bash ist das in Lenny

3.2
@MSfree: Danke!

[wanne]

Btw: Bis jessie hatte es die bash für die initrd als statische variante: http://archive.debian.org/debian-archiv ... in/b/bash/
Da könnt ihr euch die bash-static Varianten runter laden auspacken und ausführen und gucken, wie kaputt das alles war damals.
Keiner Tipp: Erst mal UTF-8 Support raus werfen:

Code: Alles auswählen

LC_ALL="C" ./bash-static

Und nehmt nicht die 64Bit-Varianten die sterben schneller als ihr gucken könnt.