[gelöst] Dieses Dokument ist kein gültiges UTF-8

[carlchen]

Hallo Debianer,

ich habe ein paar .txt Dateien auf dem Computer liegen, welche ich mit mousepad unter Xfce öffne und bekomme dann in einem kleinen Fenster einen Hinweis angezeigt, das dieses Dokument kein gültiges UTF-8 ist. Ich habe bei mousepad dann drei Auswahlmöglichkeiten: Standard (UTF-8), System (UTF-8), Andere (ISO-8859-14)



Um diese Dokumente öffnen zu können, muss ich auf Andere ISO-8859-14 klicken, dann kann ich es öffnen.
Meine Frage nun an euch, weiß jemand zufällig, ob es über das Terminal möglich ist, mit einem speziellen Befehl sämtliche .txt Dateien die im ISO-8859-14 vorliegen, in UTF-8 umzuwandeln, oder bleibt mir da nur dies alles per Hand zu erledigen, sprich die Datei zu öffnen, Inhalt rauskopieren und eine neue Datei zu erstellen?

Danke schon einmal im voraus.

Grüße,
carlchen

[KBDCALLS]

Haste schon auf der Platte iconv Dann wäre noch recode und einiges mehr.

• https://wiki.ubuntuusers.de/Zeichensatz-Konverter/

[carlchen]

Ich habe eben mal in der synaptic Paketverwaltung geschaut und da gibt es bei Debian stretch kein Paket mit dem reinen Namen iconv. Ich habe zwei andere Pakete die bereits installiert sind. Das wäre einmal libc-bin und libtext-iconv-perl. Bei libc-bin kann ich aber in der Beschreibung folgendes finden:

Code: Alles auswählen

 * catchsegv: Speicherzugriffsfehler in Programmen abfangen
 * getconf: Systemkonfigurationsvariablen abfragen
 * getent: Einträge aus Verwaltungsdatenbanken auslesen
* iconv, iconvconfig: zwischen verschiedenen Zeichencodierungen umwandeln
 * ldd, ldconfig: Abhängigkeiten von gemeinsamen Bibliotheken
    anzeigen/konfigurieren
 * locale, localedef: Locale-Definitionen anzeigen/erzeugen
 * tzselect, zdump, zic: Zeitzonen auswählen/anzeigen/kompilieren

Wie es aussieht, ist das von dir erwähnte iconv an 4. Stellte in diesem libc-bin enthalten. Das Paket recode ist bei mir nicht installiert.

Grüße,
carlchen

[KBDCALLS]

Ersteres stimmt , und letzteres muss installiert werden.

[carlchen]

Super Sache, KBDCALLS, vielen Dank.

Ich schaue mir das mal genauer an und werde mal ein wenig herumspielen. Ich denke, ich melde mich wieder, wenn ich soweit ausgiebig getestet habe.

Grüße,
carlchen

[carlchen]

Ich habe mir soweit iconv angesehen und es erledigt soweit auch mein Vorgehen was ich gerne machen möchte. Nun ist mir eines aufgefallen, denn das Zeilenende steht nach dem konvertieren noch auf "DOS/Windows (CR+LF). Wenn iconv dieses auch noch beim konvertieren erledigen kann, das Zeilenende auf Unix (LF) umzustellen, wäre ich wunschlos zufrieden. In der manpage habe ich jetzt nichts dazu finden können.

Hat jemand noch eine Idee?

Grüße,
carlchen

[KBDCALLS]

• dos2unix

[carlchen]

Das hat funktioniert. Dankeschön.

Ich habe mir den Befehl ein wenig verfeinert um gleich mehrere Dateien in Unterverzeichnissen zu konvertieren.

Code: Alles auswählen

find . -name '*.txt' -exec iconv -f ISO-8859-14 -t UTF-8 {} -o {} \;

Und um das Zeilenende zu ändern

Code: Alles auswählen

find . -type f -print0 | xargs -0 -n 1 -P 4 dos2unix

Nun habe ich allerdings festgestellt, das bei allen meinen .txt Dateien sämtliche Umlaute fehlen und nur noch Zeichen enthalten sind. Da ist mir wohl ein Fehler unterlaufen. Folgendes habe ich nun z.B. in den .txt Dateien stehen:

Code: Alles auswählen

demnÃĊchst >>> demnächst

gelöscht >>> gelöscht

natÃáṠġrlich >>> natürlich

fÃỳr >>> für

weiß >>> weiß

Königin >>> Königin

Das kann man nicht reinzufällig rückgängig machen oder sind die Dateien nun dauerhaft beschädigt? Dann muss ich sie löschen, wenn man gar nichts mehr retten kann.

Grüße,
carlchen

[KBDCALLS]

Mal versuchen

• https://spielwiese.la-evento.com/xelasb ... t-sed.html

• https://spielwiese.la-evento.com/xelasb ... ieren.html

Man sollte auch immer ein Backup machen.

[carlchen]

Vielen Dank, das lese ich mir gleichnmal durch.

Um ehrlich zu sein, habe ich das gestern vorab getestet bei ein paar Kopien, da habe ich den zweiten Befehl allerdings noch nicht verfeinert. Das hatte soweit auch ohne Probleme geklappt, aber nach dem ich den Befehl weiter angepasst habe, ist mir da dieser Fehler passiert, den ich dummerweise nicht an einer Kopie getestet habe.

Ist jetzt zwar passiert, aber ich versuche das mal zu beheben.

Grüße,
carlchen

[carlchen]

Die Anleitungen die du mir verlinkt hast, scheinen nicht so ganz zu funktionieren. Das ist wohl auch ein recht komplexes Thema, sowas wiederherzustellen. Ich danke dir für deine versuchte Hilfe und deine Zeit. Ich werde die Dateien dann am besten löschen. Was nicht geht, geht halt nicht, damit kann ich dann auch leben.

Grüße,
carlchen

[KBDCALLS]

Sieh dir das doch mal mit nem Hexeditor an.

Mit Vi
in den Hexmodus

• Code: Alles auswählen

  :%!xxd

Verlassen

• Code: Alles auswählen

  :%!xxd -r

[carlchen]

Okay, das kann ich nochmal machen. Ich kenne vi nicht, aber ein bisschen lesen hat soweit wohl geklappt wie man den benutzt.

Ich habe eine Datei nun einmal im Hexamodus geöffnet, ist zwar alles Neuland für mich aber man lernt ja nie aus. Mir wurde nun zum Beispiel hier bei einer Zeile wo ein Umlaut wäre, sowas angezeigt:

Code: Alles auswählen

00000b50: 2020 2020 200a 2020 2020 2020 5765 6e6e       .      Wenn
00000b60: 2067 656c c383 c283 c382 c2b6 7363 6874   gel........scht

Das soll eigentlich "Wenn gelöscht" heißen.

Grüße,
carlchen

[KBDCALLS]

Man kann mit dem Vi suchen und ersetzen. Das gilt auch für nichtdruckbare Zeichen und auch zeichen die nicht über Tastatur ereichbar sind.

Als Beispiel

• Code: Alles auswählen

  :1,$s/Text1/Text2/g

Ersetzt Text1 durch Text2 im gesamten Text. Da sehen die grafischen Textverarbeitungen alt gegen aus.

[carlchen]

Alles klar, ich schaue mir das mal an, vielleicht kann ich damit ja ein wenig was retten. Dankeschön nochmal. Wenn mir das nicht weiterhilft, dann muss ich in den sauren Apfel beißen und meine .txt Dateien löschen. Hilft ja sonst nichts.

Grüße,
carlchen