[notice] child pid 27907 exit signal Segmentation fault (11)

[floogy]

Hallo,

Ich hatte eine ganze Zeit Ruhe, bis der vserver diese Nacht neu startete.
Nun bekomme ich wieder signal Segmentation fault (11) von meinem Indianer:

Code: Select all

# tail -f /var/log/apache/error.log
[Thu Nov  1 11:32:05 2007] [alert] fatal exception hooks are not enabled; please enable them with the EnableExceptionHook directive or disable mod_whatkilledus
[Thu Nov  1 11:32:05 2007] [alert] fatal exception hooks are not enabled; please enable them with the EnableExceptionHook directive or disable mod_backtrace
[Thu Nov  1 11:32:06 2007] [info] mod_unique_id: using ip addr 127.0.0.1
[Thu Nov  1 11:32:07 2007] [alert] fatal exception hooks are not enabled; please enable them with the EnableExceptionHook directive or disable mod_whatkilledus
[Thu Nov  1 11:32:07 2007] [alert] fatal exception hooks are not enabled; please enable them with the EnableExceptionHook directive or disable mod_backtrace
[Thu Nov  1 11:32:08 2007] [info] mod_unique_id: using ip addr 127.0.0.1
[Thu Nov  1 11:32:09 2007] [info] created shared memory segment #393217
[Thu Nov  1 11:32:09 2007] [notice] Apache/1.3.34 (Debian) mod_mp3/0.39 mod_gzip/1.3.26.1a mod_filter/1.4 PHP/5.2.0-8+etch7 mod_auth_pam/1.1.1 mod_ssl/2.8.25 OpenSSL/0.9.8c mod_perl/1.29 configured -- resuming normal operations
[Thu Nov  1 11:32:09 2007] [info] Server built: Mar  4 2007 01:34:14
[Thu Nov  1 11:32:09 2007] [notice] Accept mutex: sysvsem (Default: sysvsem)
[Thu Nov  1 11:32:52 2007] [notice] child pid 27915 exit signal Segmentation fault (11)
[Thu Nov  1 11:32:54 2007] [notice] child pid 27911 exit signal Segmentation fault (11)
[Thu Nov  1 11:32:56 2007] [notice] child pid 27908 exit signal Segmentation fault (11)
[Thu Nov  1 11:32:58 2007] [notice] child pid 27907 exit signal Segmentation fault (11)

Damals wurde es, scheinbar unreproduzierbar besser, nachdem ich ein dpkg-reconfigure apache machte, und immer enter zur Bestätigung drückte. Ich will damit sagen, dass ich den Grund nie herausfand. Im debianforum.de gibt es noch den alten thread, der unbeantwortet blieb, und in dem ich mir selbst Gesellschaft leistete:
http://www.debianforum.de/forum/viewtopic.php?t=89714

Hier mal ein Auszug des damaligen Errorlogs mit ExceptionHook Enabled:

Code: Select all

[Wed Sep 19 15:04:30 2007] [notice] child pid 19680 exit signal Segmentation fault (11)
[Wed Sep 19 15:04:31 2007] pid 19679 mod_backtrace backtrace for signal 11
[Wed Sep 19 15:04:31 2007] pid 19679 mod_backtrace main() is at 8061680
/usr/lib/apache/1.3/mod_backtrace.so[0xb67eeb85]
/usr/sbin/apache[0x805deb6]
/lib/tls/libpthread.so.0[0xb7fb5668]
/lib/ld-linux.so.2[0xb7ff2b07]
/lib/ld-linux.so.2[0xb7ff62f9]
/lib/ld-linux.so.2[0xb7ff6090]
/lib/tls/librt.so.1[0xb6f6e6e7]
/lib/ld-linux.so.2[0xb7ff6ede]
/lib/tls/libc.so.6(exit+0xd0)[0xb7d554f0]
/usr/sbin/apache[0x805d51a]
/usr/sbin/apache[0x805f746]
/usr/sbin/apache[0x805fe46]
/usr/sbin/apache[0x8060bf8]
/usr/sbin/apache(main+0x759)[0x8061dd9]
/lib/tls/libc.so.6(__libc_start_main+0xc8)[0xb7d3eea8]
/usr/sbin/apache[0x804f6a1]
[Wed Sep 19 15:04:31 2007] pid 19679 mod_backtrace end of report
[Wed Sep 19 15:04:31 2007] pid 19679 mod_whatkilledus sig 11 crash
[Wed Sep 19 15:04:31 2007] pid 19679 mod_whatkilledus no active connection at crash
[Wed Sep 19 15:04:31 2007] pid 19679 mod_whatkilledus no request active at crash
[Wed Sep 19 15:04:31 2007] pid 19679 mod_whatkilledus end of report

Ich muß dazu sagen, dass der vserver in Bezug auf RAM so ziemlich am Limit ist.

Code: Select all

# w
 11:59:26 up 14:11,  1 user,  load average: 0,03, 0,07, 0,09

Code: Select all

#  bin/vzfree
VPS Speichernutzung:
Momentan genutzt:       190,309 MB
Zugesichert:            96 MB
Maximal nutzbar:        262 MB

Code: Select all

#  bin/vpsmem


 ----- VPS Speichernutzung ----      ---- Hardware Node Memory ----
 [XXXXXXXXXXXXXXXXXXXXXX======]      Total:                 7950 MB
 Momentan:         74% Barriere      Frei:                   824 MB
 Fehlversuche:         0 Fehler      Buffers:                914 MB
 ------------------------------      Cached:                2827 MB
 Momentan genutzt:       190 MB      ------- +/- buff/cache -------
 Maximal  genutzt:       190 MB      Used:                  3385 MB
 Barriere:               256 MB      Free:                  4565 MB
 Limit:                  262 MB      ------------ Swap ------------
 ------------------------------      Total Swap:           10001 MB
 Zugesichert:             96 MB      Free  Swap:           10001 MB
 ------------------------------      ------------------------------

Code: Select all

# cat /proc/user_beancounters
Version: 2.5                                                                                                                     
       uid  resource                     held              maxheld              barrier                limit              failcnt
     33189: kmemsize                  3331879              3347500             12582912             14680064                    0
            lockedpages                   253                  253                  344                  344                    2
            privvmpages                 48605                48648                65536                67072                    0
            shmpages                      828                  828                19567                19567                    0
            dummy                           0                    0                    0                    0                    0
            numproc                        36                   36                  128                  128                    0
            physpages                   15704                15707                    0           2147483647                    0
            vmguarpages                     0                    0                24576           2147483647                    0
            oomguarpages                15704                15707                24576           2147483647                    0
            numtcpsock                     13                   13                  128                  128                    0
            numflock                        6                    6                  224                  246                    0
            numpty                          1                    1                   16                   16                    0
            numsiginfo                      0                    1                  256                  256                    0
            tcpsndbuf                  133608               133608              1416560              2768240                    0
            tcprcvbuf                  167504               167504              1416560              2768240                    0
            othersockbuf               150016               150016               655717              1153621                    0
            dgramrcvbuf                     0                    0               132096               132096                    0
            numothersock                   90                   90                  128                  128                    0
            dcachesize                      0                    0              3002127              3032191                    0
            numfile                      1688                 1688                 2500                 2500                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            numiptent                      14                   14                   64                   64                    0

Von diesen Werten darf mabn sich nicht täuschen lassen:

Code: Select all

# vmstat -S M
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 1  0      0    829    913   2836    0    0     0     0    0  415  1  0 97  2

Code: Select all

# free -m
             total       used       free     shared    buffers     cached
Mem:          7949       7484        465          0        913       3214
-/+ buffers/cache:       3356       4593
Swap:        10001          0      10001

Code: Select all

# apache -V
Server version: Apache/1.3.34 (Debian)
Server built:   Mar  4 2007 01:34:14
Server's Module Magic Number: 19990320:18
Server compiled with....
 -D EAPI
 -D HAVE_MMAP
 -D HAVE_SHMGET
 -D USE_SHMGET_SCOREBOARD
 -D USE_MMAP_FILES
 -D HAVE_FCNTL_SERIALIZED_ACCEPT
 -D HAVE_SYSVSEM_SERIALIZED_ACCEPT
 -D SINGLE_LISTEN_UNSERIALIZED_ACCEPT
 -D DYNAMIC_MODULE_LIMIT=64
 -D HARD_SERVER_LIMIT=4096
 -D HTTPD_ROOT="/usr"
 -D SUEXEC_BIN="/usr/lib/apache/suexec"
 -D DEFAULT_PIDLOG="/var/run/apache.pid"
 -D DEFAULT_SCOREBOARD="/var/run/apache.scoreboard"
 -D DEFAULT_LOCKFILE="/var/run/apache.lock"
 -D DEFAULT_ERRORLOG="/var/log/apache/error.log"
 -D TYPES_CONFIG_FILE="/etc/mime.types"
 -D SERVER_CONFIG_FILE="/etc/apache/httpd.conf"
 -D ACCESS_CONFIG_FILE="/etc/apache/access.conf"
 -D RESOURCE_CONFIG_FILE="/etc/apache/srm.conf"

Könnte man irgendwie die Ursache herausfinden, oder wenigstens einkreisen?

[Joe User]

Code: Select all

[alert] fatal exception hooks are not enabled; please enable them with the EnableExceptionHook directive or disable mod_whatkilledus
[alert] fatal exception hooks are not enabled; please enable them with the EnableExceptionHook directive or disable mod_backtrace

Diese Logzeilen sind nicht grundlos mit [alert] markiert. Wozu benötigst diese beiden Module und mod_pam_auth, mod_mp3 und mod_filter überhaupt?

[floogy]

Hallo Joe User,

die Fehler traten schon vorher auf, ich habe daher ja erst die "ExeptionHooks enabled" (denglish TM), und damit den geposteten backtrace erhalten. Damit die logs nicht überlaufen habe ich es in der httpd.conf auskommentiert. In der modules.conf sind die Zeilen aber noch vorhanden. Zugegeben: Nicht gerade elegant, umgekehrt wäre wohl eher "best practice".

Ich denke aber, dass es daran nicht liegt, wie gesagt, der Fehler war vorher da, und bestand trotz dieser Meldungen ja auch eine ganze Zeit nicht.

Dein Einwand, was ich mit den aufgelisteten modulen will führt schon eher in die richtige Richtung, danke!

Ich werde die genanntwen module (und auch die exception und whatkilledus module) heute abend mal disablen, und weiter sehen.

Jetzt gehe ich erst mal Wandern. Einen schönen Tag noch, und Vielen Dank!

floogy

[thelaw]

Du schreibst, dass der Speicher am Limit ist.
Evtl. werden auch deswegen Prozesse gekillt.

Schau mal in /var/log/kern.log oder dmesg nach.

[floogy]

dmesg und /var/log/kern.log sind leer (vserver?).
/var/log/syslog ergibt nichts auffälliges.

Ich habe die genannten Module deaktiviert, aber die Meldungen bleiben.

Code: Select all

[Fri Nov  2 01:57:58 2007] [notice] SIGHUP received.  Attempting to restart
[Fri Nov  2 01:57:59 2007] [notice] Apache/1.3.34 (Debian) mod_gzip/1.3.26.1a PHP/5.2.0-8+etch7 mod_ssl/2.8.25 OpenSSL/0.9.8c mod_perl/1.29 configured -- resuming normal operations
[Fri Nov  2 01:57:59 2007] [info] Server built: Mar  4 2007 01:34:14
[Fri Nov  2 01:57:59 2007] [notice] Accept mutex: sysvsem (Default: sysvsem)
[Fri Nov  2 01:58:53 2007] [notice] child pid 3438 exit signal Segmentation fault (11)

EDIT:
Ich habe nun nochmals module herausgeschmissen, und leider bleibt es dabei:

Code: Select all

[Fri Nov  2 11:41:41 2007] [info] created shared memory segment #524288
[Fri Nov  2 11:41:41 2007] [notice] Apache/1.3.34 (Debian) PHP/5.2.0-8+etch7 configured -- resuming normal operations
[Fri Nov  2 11:41:41 2007] [info] Server built: Mar  4 2007 01:34:14
[Fri Nov  2 11:41:41 2007] [notice] Accept mutex: sysvsem (Default: sysvsem)
[Fri Nov  2 11:42:29 2007] [notice] child pid 21652 exit signal Segmentation fault (11)

Code: Select all

# cat /etc/apache/modules.conf|grep Load
LoadModule config_log_module /usr/lib/apache/1.3/mod_log_config.so
LoadModule agent_log_module /usr/lib/apache/1.3/mod_log_agent.so
LoadModule referer_log_module /usr/lib/apache/1.3/mod_log_referer.so
LoadModule log_forensic_module /usr/lib/apache/1.3/mod_log_forensic.so
LoadModule mime_magic_module /usr/lib/apache/1.3/mod_mime_magic.so
LoadModule mime_module /usr/lib/apache/1.3/mod_mime.so
LoadModule status_module /usr/lib/apache/1.3/mod_status.so
LoadModule info_module /usr/lib/apache/1.3/mod_info.so
LoadModule dir_module /usr/lib/apache/1.3/mod_dir.so
LoadModule alias_module /usr/lib/apache/1.3/mod_alias.so
LoadModule rewrite_module /usr/lib/apache/1.3/mod_rewrite.so
LoadModule access_module /usr/lib/apache/1.3/mod_access.so
LoadModule auth_module /usr/lib/apache/1.3/mod_auth.so
LoadModule setenvif_module /usr/lib/apache/1.3/mod_setenvif.so
LoadModule php5_module /usr/lib/apache/1.3/libphp5.so

Wenn ich dieser Konfiguration dann wieder die Zeile
LoadModule prctl_module /usr/lib/apache/1.3/mod_prctl.so
hinzufüge, bekomme ich diese Meldung beim dpkg-reconfigure apache:

Code: Select all

# dpkg-reconfigure apache
Stopping apache 1.3 web server....
Error: mod_prctl.so does not have a corresponding .info file.
The above errors might cause apache to not work properly or start
Please refer to the documentation on how to fix it or report it to
Debian Apache Mailing List <debian-apache@lists.debian.org> if in doubt
on how to proceed

Weiß jemand, wie man so eine .info Datei anlegt?

Mit mod_backtrace und mod_whatkilledus bekomme ich weiterhin:

Code: Select all

[Fri Nov  2 12:00:45 2007] [notice] caught SIGTERM, shutting down
[Fri Nov  2 12:02:44 2007] [info] created shared memory segment #557056
[Fri Nov  2 12:02:44 2007] [notice] Apache/1.3.34 (Debian) PHP/5.2.0-8+etch7 configured -- resuming normal operations
[Fri Nov  2 12:02:44 2007] [info] Server built: Mar  4 2007 01:34:14
[Fri Nov  2 12:02:44 2007] [notice] Accept mutex: sysvsem (Default: sysvsem)
[Fri Nov  2 12:03:44 2007] pid 22026 mod_backtrace backtrace for signal 11
[Fri Nov  2 12:03:44 2007] pid 22026 mod_backtrace main() is at 8061680
/usr/lib/apache/1.3/mod_backtrace.so[0xb77c8b85]
/usr/sbin/apache[0x805deb6]
/lib/tls/libpthread.so.0[0xb7fb5668]
/lib/ld-linux.so.2[0xb7ff2b07]
/lib/ld-linux.so.2[0xb7ff62f9]
/lib/ld-linux.so.2[0xb7ff6090]
/lib/tls/librt.so.1[0xb737c6e7]
/lib/ld-linux.so.2[0xb7ff6ede]
/lib/tls/libc.so.6(exit+0xd0)[0xb7d554f0]
/usr/sbin/apache[0x805d51a]
/usr/sbin/apache[0x805d543]
/lib/tls/libpthread.so.0[0xb7fb5668]
/usr/sbin/apache[0x805fe46]
/usr/sbin/apache[0x805ff0e]
/usr/sbin/apache[0x8060d2c]
/usr/sbin/apache(main+0x759)[0x8061dd9]
/lib/tls/libc.so.6(__libc_start_main+0xc8)[0xb7d3eea8]
/usr/sbin/apache[0x804f6a1]
[Fri Nov  2 12:03:44 2007] pid 22026 mod_backtrace end of report
[Fri Nov  2 12:03:44 2007] pid 22026 mod_whatkilledus sig 11 crash
[Fri Nov  2 12:03:44 2007] pid 22026 mod_whatkilledus no active connection at crash
[Fri Nov  2 12:03:44 2007] pid 22026 mod_whatkilledus no request active at crash
[Fri Nov  2 12:03:44 2007] pid 22026 mod_whatkilledus end of report

Ich habe von gestern noch ein paar coredumps unter root liegen, und habe sie mal mit gdb geladen:

Code: Select all

# gdb apache /core.13649
GNU gdb 6.4.90-debian
[...]
There is absolutely no warranty for GDB.  Type "show warranty" for details.
This GDB was configured as "i486-linux-gnu"...(no debugging symbols found)
Using host libthread_db library "/lib/tls/libthread_db.so.1".


warning: .dynamic section for "/usr/lib/i686/cmov/libssl.so.0.9.8" is not at the expected address
Reading symbols from /lib/tls/libm.so.6...(no debugging symbols found)...done.
Loaded symbols for /lib/tls/libm.so.6
[...]
Reading symbols from /usr/lib/apache/1.3/mod_backtrace.so...(no debugging symbols found)...done.
Loaded symbols for /usr/lib/apache/1.3/mod_backtrace.so
Reading symbols from /usr/lib/apache/1.3/mod_whatkilledus.so...(no debugging symbols found)...done.
Loaded symbols for /usr/lib/apache/1.3/mod_whatkilledus.so
Reading symbols from /usr/lib/apache/1.3/mod_prctl.so...done.
Loaded symbols for /usr/lib/apache/1.3/mod_prctl.so
Core was generated by `apache graceful'.
Program terminated with signal 11, Segmentation fault.
#0  0xb7ff26e7 in _dl_rtld_di_serinfo () from /lib/ld-linux.so.2

libssl ist nun ja nicht mehr geladen, alle anderen module sind unauffällig (no debugging symbols found).
Leider bekomme ich keine neuen core-dumps heraus, aber ich denke, sie würden auch nicht anders aussehen...

Ich kann mit den core-dumps jedenfalls auch nichts anfangen, da ich kein Programmierer bin.

[floogy]

Jedenfalls scheint es Leidensgenossen zu geben:
http://www.nabble.com/SIGSEGV-z-Apache, ... 69990.html
http://bugs.php.net/bug.php?id=36105

Das ergab diese Suche in Google nach debian, apache und _dl_rtld_di_serinfo:
http://www.google.com/search?q=_dl_rtld ... che+debian

Mit der php version 5.1.2-1.dotdeb.1 gab es diese Fehler auch nicht. Ich wollte aber die normalen etch pakete verwenden, um in den Genuß der security patches zu kommen.

Code: Select all

# dpkg -l lib*php5|egrep ^ii
ii  libapache-mod-php5  5.2.0-8+etch7  server-side, HTML-embedded scripting language (apache 1.3 module)

Code: Select all

# dpkg -S /lib/ld-linux.so.2
libc6: /lib/ld-linux.so.2
# apt-cache policy libc6
libc6:
  Installed: 2.3.6.ds1-13etch2
  Candidate: 2.3.6.ds1-13etch2
  Version table:
 *** 2.3.6.ds1-13etch2 0
        500 http://ftp.de.debian.org stable/main Packages
        100 /var/lib/dpkg/status

EDIT: Eventuell handelt es sich auch um diesen php-bug:
http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=411982
Diese bugs aus dem debian BTS sind zumindest ähnlich (und auch ohne Lösung):
#351654 #368315

Edit: Es gibt nun einen bugreport im debian BTS etch/apache:
http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=449027