Page 1 of 1

Oldie but Goldie - globales Umlautproblem...

Posted: 2009-11-27 12:09
by roi
Hallo zusammen,

der Klassiker mit den Umlauten, aber leider krieg ich's ums Verrecken nicht hin... Deswegen nun einfach mal der Versuch, das hier zu klaeren. Poste im allgemeinen Debian Forum, weil das Problem nicht ein Programm oder einen Dienst betrifft sondern ein allgemeines ist.

Hier mal eine Beschreibung des Problems unter Angabe von verschiedenen Outputs und Konfigurationseinstellungen. Sollte etwas fehlen, liefere ich das gerne nach, will ja dem Problem effektiv zuleibe ruecken - waere also keine Absicht, haette ich hier etwas unterschlagen. ;-)

Es laeuft Debian 5.0, "locale" spuckt folgendes aus:

Code: Select all

LANG=en_US.UTF-8
LC_CTYPE=de_DE.UTF-8
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_PAPER="en_US.UTF-8"
LC_NAME="en_US.UTF-8"
LC_ADDRESS="en_US.UTF-8"
LC_TELEPHONE="en_US.UTF-8"
LC_MEASUREMENT="en_US.UTF-8"
LC_IDENTIFICATION="en_US.UTF-8"
LC_ALL=
Lasse ich mir den Inhalt einer bestimmten Datei auf dem lokalen Windows-Rechner anzeigen, sehe ich z.B. folgendes:
Zurück
Lade ich sie per FTP (ProFTPd) oder SCP (WinSCP) auf den betreffenden Server, sehe ich folgendes (im Midnight Commander Viewer, allerdings auch wenn ich die Datei z.B. mit "cat" ausgeben lasse):
Zurück
Das Problem betrifft alle Umlaute, nicht nur das "ü".

Da faengt man dann schon an, nachdenklich zu werden...

Dazu kommt, dass die Datei, es handelt sich in dem Fall um eine HTML-Datei, mit zerschossenen Umlauten im Browser dargestellt wird. Die Datei hat laut Notepad2 (mein Editor fuer den Total Commander) UTF8 Enkodierung und oben im HTML-Header steht das hier drinnen:

Code: Select all

<meta http-equiv="content-type" content="text/html; charset=utf-8" />
Es bringt auch nichts, wenn ich per .htaccess oder in der vHost-Config direkt fuer dieses Verzeichnis "AddDefaultCharset UTF-8" (AddDefaultCharset ist auf "On") einstelle.

Also irgendwas geht da ganz maechtig schief habe ich so das Gefuehl...

Hat mir vielleicht jemand ein paar Tipps oder vielleicht sogar die Loesung?

Danke und viele Gruesse,
Martin

Re: Oldie but Goldie - globales Umlautproblem...

Posted: 2009-11-27 12:38
by Roger Wilco
Kaputte FTP-Übertragung? Probier es mal mit einer Übertragung im Binary-Mode (und nicht ASCII- oder Auto-Mode).

Ansonsten: Poste eine URI zu der zerschossenen Datei. Vielleicht liegt das Problem schon daran und dein System ist in Ordnung.

Re: Oldie but Goldie - globales Umlautproblem...

Posted: 2009-11-27 12:42
by roi
Roger Wilco wrote:Kaputte FTP-Übertragung? Probier es mal mit einer Übertragung im Binary-Mode (und nicht ASCII- oder Auto-Mode).
Ich habe auch mit WinSCP uebertragen. Passiert hier auch eine Konvertierung mit Standardeinstellungen?

FTP-Uebertragung teste ich gleich und melde mich mit dem Ergebnis.
Roger Wilco wrote:Ansonsten: Poste eine URI zu der zerschossenen Datei. Vielleicht liegt das Problem schon daran und dein System ist in Ordnung.
URI zur zerschossenen Datei geht nicht, es handelt sich um einen Intranetserver...

Viele Gruesse,
Martin

Re: Oldie but Goldie - globales Umlautproblem...

Posted: 2009-11-27 12:56
by Roger Wilco
roi wrote:URI zur zerschossenen Datei geht nicht, es handelt sich um einen Intranetserver...
Dann eben als Dateianhang hier oder über einen der vielen kostenlosen Pastebin-Dienste (http://en.wikipedia.org/wiki/Comparison_of_pastebins), sofern das mit dem Inhalt der Datei vereinbar ist.

Re: Oldie but Goldie - globales Umlautproblem...

Posted: 2009-11-27 13:01
by roi
Roger Wilco wrote:Kaputte FTP-Übertragung? Probier es mal mit einer Übertragung im Binary-Mode (und nicht ASCII- oder Auto-Mode).
roi wrote:Ich habe auch mit WinSCP uebertragen. Passiert hier auch eine Konvertierung mit Standardeinstellungen?

FTP-Uebertragung teste ich gleich und melde mich mit dem Ergebnis.
Der Total Commander verfuegt dahingehend ueber keinerlei Optionen, zumindest nicht auf den ersten Blick. Einen anderen FTP-Client kann ich hier nicht installieren, da ich meinen Rechner nicht selbst administriere (wohl aber meine Intranetserver... komische Welt heutzutage...).

Habe aber mal WinSCP etwas genauer angeschaut. Transfermode ist auf Automatic gewesen, dh Textdateien wie .htm und so weiter wurden im Textmode uebertragen. Habe auf Binary gestellt und das betreffende File uebertragen.

Gleiches Ergebnis. Umlaute zerschossen im Apache sowie im mc und wenn ich per cat die Datei anschaue.

Viele Gruesse,
Martin

Re: Oldie but Goldie - globales Umlautproblem...

Posted: 2009-11-27 13:53
by Joe User
Apache: AddDefaultCharset darf gar nicht gestzt sein. Wann man das auch bei Debian endlich mal begreift, weiss wohl niemand...

MC, cat, etc.: Deine Shell (oder Dein SSH-Client) mag kein UTF-8 darstellen, ist aber kein Problem. Sieht halt nur für den Tastaturvirus ungewohnt aus ;)

Re: Oldie but Goldie - globales Umlautproblem...

Posted: 2009-11-27 14:02
by roi
roi wrote:URI zur zerschossenen Datei geht nicht, es handelt sich um einen Intranetserver...
Roger Wilco wrote:Dann eben als Dateianhang hier oder über einen der vielen kostenlosen Pastebin-Dienste (http://en.wikipedia.org/wiki/Comparison_of_pastebins), sofern das mit dem Inhalt der Datei vereinbar ist.
Hier mal die (gekürzte) HTML-Datei als ZIP (es geht um den Teil title="Zurück"). Dateianhang ist leider nicht moeglich, zumindest sehe ich hier keine Option, mit der ich dem Post Dateien hinzufuegen kann.

Habe zwischenzeitlich festgestellt, dass die Datei bei der Uebertragung auf den Server nicht geaendert wird. Denn: Bei einer Rueckuebertragung sind die Umlaute noch i.O. (vorausgesetzt ich schaue mir die Datei mit dem Textbetrachter Synplus (Plugins fuer den Total Commander) an). Nehme ich einen anderen Betrachter (den internen Lister des Total Commanders) sehe ich den Umlaut so zerschossen wie oben beschrieben.

Synplus wird also wohl UTF8 (oder was auch immer) koennen, der Lister nicht.

Und die Linuxkiste hat damit wohl auch ein grundsaetzliches Problem...

Viele Gruesse,
Martin

/EDIT: Das mit dem Apache und AddDefaultCharset werde ich doch direkt mal ausprobieren. ;-)

Re: Oldie but Goldie - globales Umlautproblem...

Posted: 2009-11-27 14:12
by roi
Joe User wrote:Apache: AddDefaultCharset darf gar nicht gestzt sein. Wann man das auch bei Debian endlich mal begreift, weiss wohl niemand...
Also ich habs spaetestens jetzt begriffen, denn: ES GEHT! *freu* *huepf* :-)

Danke recht herzlich!
Joe User wrote:MC, cat, etc.: Deine Shell (oder Dein SSH-Client) mag kein UTF-8 darstellen, ist aber kein Problem. Sieht halt nur für den Tastaturvirus ungewohnt aus ;)
Hast Du da zufaellig ne Idee, wie ich das auch hinkriege? Wuerde die Arbeit natuerlich ungemein erleichtern.

Viele Gruesse,
Martin

/EDIT: Das Zip von oben werd ich in ein paar Tagen loeschen... Vielleicht will's sich ja trotzdem aus irgendwelchen Gruenden noch jemand anschauen...

Re: Oldie but Goldie - globales Umlautproblem...

Posted: 2009-11-27 14:28
by Joe User
roi wrote:
Joe User wrote:MC, cat, etc.: Deine Shell (oder Dein SSH-Client) mag kein UTF-8 darstellen, ist aber kein Problem. Sieht halt nur für den Tastaturvirus ungewohnt aus ;)
Hast Du da zufaellig ne Idee, wie ich das auch hinkriege? Wuerde die Arbeit natuerlich ungemein erleichtern.
Das geht nur durch Rekompilieren aller die Shell betreffenden Pakete mit den nötigen Optionen und/oder Patches. Davon rate ich auf Binary-Distributionen wie Debian dringend ab.
Sinnvolle Alternative: Gentoo 8)

Re: Oldie but Goldie - globales Umlautproblem...

Posted: 2009-11-27 18:21
by Roger Wilco
roi wrote:Vielleicht will's sich ja trotzdem aus irgendwelchen Gruenden noch jemand anschauen...
Ich hab's mir mal kurz angesehen und die Datei ist in Ordnung. Aber das wusstest du ja inzwischen schon. ;)
Joe User wrote:Das geht nur durch Rekompilieren aller die Shell betreffenden Pakete mit den nötigen Optionen und/oder Patches.
Naja, ganz so brain-dead sind die Entwickler dort auch wieder nicht. Ich bin sicher, dass das mit einer kleinen Einstellung geht. Das Wiki von grml bietet dazu einen kleinen Artikel: http://wiki.grml.org/doku.php?id=utf8

Es könnte auch einfach am verwendeten SSH-Client liegen. PuTTY hatte immer ganz gerne Probleme, wenn man die Schriftart bei der Verbindungserstellung nicht explizit auf UTF-8 gesetzt hatte.

Re: Oldie but Goldie - globales Umlautproblem...

Posted: 2009-11-28 00:40
by roi
roi wrote:Hast Du da zufaellig ne Idee, wie ich das auch hinkriege? Wuerde die Arbeit natuerlich ungemein erleichtern.
Joe User wrote:Das geht nur durch Rekompilieren aller die Shell betreffenden Pakete mit den nötigen Optionen und/oder Patches.
Ach herrje... Nein danke... ;-) Dann werde ich damit wohl leben...
Joe User wrote:Davon rate ich auf Binary-Distributionen wie Debian dringend ab.
Ne darauf hab ich keine Lust. Liebe mein Debian ohne jegliches selbst komiliertes Paket.
Joe User wrote:Sinnvolle Alternative: Gentoo 8)
Ja, aber das waere wohl eher mit Kanonen auf Voegel geschossen wenn man sonst rundum zufrieden ist.

Danke nochmal und viele Gruesse,
Martin