Oldie but Goldie - globales Umlautproblem...

FreeBSD, Gentoo, openSUSE, CentOS, Ubuntu, Debian
roi
Posts: 145
Joined: 2003-04-07 09:05
Location: Esslingen am Neckar
 

Oldie but Goldie - globales Umlautproblem...

Post by roi »

Hallo zusammen,

der Klassiker mit den Umlauten, aber leider krieg ich's ums Verrecken nicht hin... Deswegen nun einfach mal der Versuch, das hier zu klaeren. Poste im allgemeinen Debian Forum, weil das Problem nicht ein Programm oder einen Dienst betrifft sondern ein allgemeines ist.

Hier mal eine Beschreibung des Problems unter Angabe von verschiedenen Outputs und Konfigurationseinstellungen. Sollte etwas fehlen, liefere ich das gerne nach, will ja dem Problem effektiv zuleibe ruecken - waere also keine Absicht, haette ich hier etwas unterschlagen. ;-)

Es laeuft Debian 5.0, "locale" spuckt folgendes aus:

Code: Select all

LANG=en_US.UTF-8
LC_CTYPE=de_DE.UTF-8
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_PAPER="en_US.UTF-8"
LC_NAME="en_US.UTF-8"
LC_ADDRESS="en_US.UTF-8"
LC_TELEPHONE="en_US.UTF-8"
LC_MEASUREMENT="en_US.UTF-8"
LC_IDENTIFICATION="en_US.UTF-8"
LC_ALL=
Lasse ich mir den Inhalt einer bestimmten Datei auf dem lokalen Windows-Rechner anzeigen, sehe ich z.B. folgendes:
Zurück
Lade ich sie per FTP (ProFTPd) oder SCP (WinSCP) auf den betreffenden Server, sehe ich folgendes (im Midnight Commander Viewer, allerdings auch wenn ich die Datei z.B. mit "cat" ausgeben lasse):
Zurück
Das Problem betrifft alle Umlaute, nicht nur das "ü".

Da faengt man dann schon an, nachdenklich zu werden...

Dazu kommt, dass die Datei, es handelt sich in dem Fall um eine HTML-Datei, mit zerschossenen Umlauten im Browser dargestellt wird. Die Datei hat laut Notepad2 (mein Editor fuer den Total Commander) UTF8 Enkodierung und oben im HTML-Header steht das hier drinnen:

Code: Select all

<meta http-equiv="content-type" content="text/html; charset=utf-8" />
Es bringt auch nichts, wenn ich per .htaccess oder in der vHost-Config direkt fuer dieses Verzeichnis "AddDefaultCharset UTF-8" (AddDefaultCharset ist auf "On") einstelle.

Also irgendwas geht da ganz maechtig schief habe ich so das Gefuehl...

Hat mir vielleicht jemand ein paar Tipps oder vielleicht sogar die Loesung?

Danke und viele Gruesse,
Martin
Roger Wilco
Posts: 5923
Joined: 2004-05-23 12:53
 

Re: Oldie but Goldie - globales Umlautproblem...

Post by Roger Wilco »

Kaputte FTP-Übertragung? Probier es mal mit einer Übertragung im Binary-Mode (und nicht ASCII- oder Auto-Mode).

Ansonsten: Poste eine URI zu der zerschossenen Datei. Vielleicht liegt das Problem schon daran und dein System ist in Ordnung.
roi
Posts: 145
Joined: 2003-04-07 09:05
Location: Esslingen am Neckar
 

Re: Oldie but Goldie - globales Umlautproblem...

Post by roi »

Roger Wilco wrote:Kaputte FTP-Übertragung? Probier es mal mit einer Übertragung im Binary-Mode (und nicht ASCII- oder Auto-Mode).
Ich habe auch mit WinSCP uebertragen. Passiert hier auch eine Konvertierung mit Standardeinstellungen?

FTP-Uebertragung teste ich gleich und melde mich mit dem Ergebnis.
Roger Wilco wrote:Ansonsten: Poste eine URI zu der zerschossenen Datei. Vielleicht liegt das Problem schon daran und dein System ist in Ordnung.
URI zur zerschossenen Datei geht nicht, es handelt sich um einen Intranetserver...

Viele Gruesse,
Martin
Roger Wilco
Posts: 5923
Joined: 2004-05-23 12:53
 

Re: Oldie but Goldie - globales Umlautproblem...

Post by Roger Wilco »

roi wrote:URI zur zerschossenen Datei geht nicht, es handelt sich um einen Intranetserver...
Dann eben als Dateianhang hier oder über einen der vielen kostenlosen Pastebin-Dienste (http://en.wikipedia.org/wiki/Comparison_of_pastebins), sofern das mit dem Inhalt der Datei vereinbar ist.
roi
Posts: 145
Joined: 2003-04-07 09:05
Location: Esslingen am Neckar
 

Re: Oldie but Goldie - globales Umlautproblem...

Post by roi »

Roger Wilco wrote:Kaputte FTP-Übertragung? Probier es mal mit einer Übertragung im Binary-Mode (und nicht ASCII- oder Auto-Mode).
roi wrote:Ich habe auch mit WinSCP uebertragen. Passiert hier auch eine Konvertierung mit Standardeinstellungen?

FTP-Uebertragung teste ich gleich und melde mich mit dem Ergebnis.
Der Total Commander verfuegt dahingehend ueber keinerlei Optionen, zumindest nicht auf den ersten Blick. Einen anderen FTP-Client kann ich hier nicht installieren, da ich meinen Rechner nicht selbst administriere (wohl aber meine Intranetserver... komische Welt heutzutage...).

Habe aber mal WinSCP etwas genauer angeschaut. Transfermode ist auf Automatic gewesen, dh Textdateien wie .htm und so weiter wurden im Textmode uebertragen. Habe auf Binary gestellt und das betreffende File uebertragen.

Gleiches Ergebnis. Umlaute zerschossen im Apache sowie im mc und wenn ich per cat die Datei anschaue.

Viele Gruesse,
Martin
User avatar
Joe User
Project Manager
Project Manager
Posts: 11189
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: Oldie but Goldie - globales Umlautproblem...

Post by Joe User »

Apache: AddDefaultCharset darf gar nicht gestzt sein. Wann man das auch bei Debian endlich mal begreift, weiss wohl niemand...

MC, cat, etc.: Deine Shell (oder Dein SSH-Client) mag kein UTF-8 darstellen, ist aber kein Problem. Sieht halt nur für den Tastaturvirus ungewohnt aus ;)
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
roi
Posts: 145
Joined: 2003-04-07 09:05
Location: Esslingen am Neckar
 

Re: Oldie but Goldie - globales Umlautproblem...

Post by roi »

roi wrote:URI zur zerschossenen Datei geht nicht, es handelt sich um einen Intranetserver...
Roger Wilco wrote:Dann eben als Dateianhang hier oder über einen der vielen kostenlosen Pastebin-Dienste (http://en.wikipedia.org/wiki/Comparison_of_pastebins), sofern das mit dem Inhalt der Datei vereinbar ist.
Hier mal die (gekürzte) HTML-Datei als ZIP (es geht um den Teil title="Zurück"). Dateianhang ist leider nicht moeglich, zumindest sehe ich hier keine Option, mit der ich dem Post Dateien hinzufuegen kann.

Habe zwischenzeitlich festgestellt, dass die Datei bei der Uebertragung auf den Server nicht geaendert wird. Denn: Bei einer Rueckuebertragung sind die Umlaute noch i.O. (vorausgesetzt ich schaue mir die Datei mit dem Textbetrachter Synplus (Plugins fuer den Total Commander) an). Nehme ich einen anderen Betrachter (den internen Lister des Total Commanders) sehe ich den Umlaut so zerschossen wie oben beschrieben.

Synplus wird also wohl UTF8 (oder was auch immer) koennen, der Lister nicht.

Und die Linuxkiste hat damit wohl auch ein grundsaetzliches Problem...

Viele Gruesse,
Martin

/EDIT: Das mit dem Apache und AddDefaultCharset werde ich doch direkt mal ausprobieren. ;-)
Last edited by roi on 2009-11-27 14:03, edited 1 time in total.
roi
Posts: 145
Joined: 2003-04-07 09:05
Location: Esslingen am Neckar
 

Re: Oldie but Goldie - globales Umlautproblem...

Post by roi »

Joe User wrote:Apache: AddDefaultCharset darf gar nicht gestzt sein. Wann man das auch bei Debian endlich mal begreift, weiss wohl niemand...
Also ich habs spaetestens jetzt begriffen, denn: ES GEHT! *freu* *huepf* :-)

Danke recht herzlich!
Joe User wrote:MC, cat, etc.: Deine Shell (oder Dein SSH-Client) mag kein UTF-8 darstellen, ist aber kein Problem. Sieht halt nur für den Tastaturvirus ungewohnt aus ;)
Hast Du da zufaellig ne Idee, wie ich das auch hinkriege? Wuerde die Arbeit natuerlich ungemein erleichtern.

Viele Gruesse,
Martin

/EDIT: Das Zip von oben werd ich in ein paar Tagen loeschen... Vielleicht will's sich ja trotzdem aus irgendwelchen Gruenden noch jemand anschauen...
User avatar
Joe User
Project Manager
Project Manager
Posts: 11189
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: Oldie but Goldie - globales Umlautproblem...

Post by Joe User »

roi wrote:
Joe User wrote:MC, cat, etc.: Deine Shell (oder Dein SSH-Client) mag kein UTF-8 darstellen, ist aber kein Problem. Sieht halt nur für den Tastaturvirus ungewohnt aus ;)
Hast Du da zufaellig ne Idee, wie ich das auch hinkriege? Wuerde die Arbeit natuerlich ungemein erleichtern.
Das geht nur durch Rekompilieren aller die Shell betreffenden Pakete mit den nötigen Optionen und/oder Patches. Davon rate ich auf Binary-Distributionen wie Debian dringend ab.
Sinnvolle Alternative: Gentoo 8)
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
Roger Wilco
Posts: 5923
Joined: 2004-05-23 12:53
 

Re: Oldie but Goldie - globales Umlautproblem...

Post by Roger Wilco »

roi wrote:Vielleicht will's sich ja trotzdem aus irgendwelchen Gruenden noch jemand anschauen...
Ich hab's mir mal kurz angesehen und die Datei ist in Ordnung. Aber das wusstest du ja inzwischen schon. ;)
Joe User wrote:Das geht nur durch Rekompilieren aller die Shell betreffenden Pakete mit den nötigen Optionen und/oder Patches.
Naja, ganz so brain-dead sind die Entwickler dort auch wieder nicht. Ich bin sicher, dass das mit einer kleinen Einstellung geht. Das Wiki von grml bietet dazu einen kleinen Artikel: http://wiki.grml.org/doku.php?id=utf8

Es könnte auch einfach am verwendeten SSH-Client liegen. PuTTY hatte immer ganz gerne Probleme, wenn man die Schriftart bei der Verbindungserstellung nicht explizit auf UTF-8 gesetzt hatte.
roi
Posts: 145
Joined: 2003-04-07 09:05
Location: Esslingen am Neckar
 

Re: Oldie but Goldie - globales Umlautproblem...

Post by roi »

roi wrote:Hast Du da zufaellig ne Idee, wie ich das auch hinkriege? Wuerde die Arbeit natuerlich ungemein erleichtern.
Joe User wrote:Das geht nur durch Rekompilieren aller die Shell betreffenden Pakete mit den nötigen Optionen und/oder Patches.
Ach herrje... Nein danke... ;-) Dann werde ich damit wohl leben...
Joe User wrote:Davon rate ich auf Binary-Distributionen wie Debian dringend ab.
Ne darauf hab ich keine Lust. Liebe mein Debian ohne jegliches selbst komiliertes Paket.
Joe User wrote:Sinnvolle Alternative: Gentoo 8)
Ja, aber das waere wohl eher mit Kanonen auf Voegel geschossen wenn man sonst rundum zufrieden ist.

Danke nochmal und viele Gruesse,
Martin