Kernel Fehler, der die Datenbank lahmt.

FreeBSD, Gentoo, openSUSE, CentOS, Ubuntu, Debian
snatch
Posts: 19
Joined: 2004-02-25 17:49

Kernel Fehler, der die Datenbank lahmt.

Post by snatch » 2007-10-27 21:30

Hallo.

Nach dieser Meldung lahmt die DB total. Kann keine Daten
mehr verarbeiten und hängt sich schließlich auf.

Code: Select all

Oct 27 14:52:19 ipx10794 kernel: CPU:    1
Oct 27 14:52:19 ipx10794 kernel: EIP:    0060:[<c0101f0c>]    Not tainted VLI
Oct 27 14:52:19 ipx10794 kernel: EFLAGS: 00010246   (2.6.18-5-686 #1)
Oct 27 14:52:19 ipx10794 kernel: EIP is at __switch_to+0x11e/0x166
Oct 27 14:52:19 ipx10794 kernel: eax: c4fffaf9   ebx: f4853ed8   ecx: 0000021b   edx: 0000086c
Oct 27 14:52:19 ipx10794 kernel: esi: b4484500   edi: cdff2000   ebp: cdff2000   esp: f4853e0c
Oct 27 14:52:19 ipx10794 kernel: ds: 007b   es: 007b   ss: 0068
[b]Oct 27 14:52:19 ipx10794 kernel: Process mysqld (pid: 3462, ti=f4852000 task=df12d000 task.ti=f4852000)
Oct 27 14:52:19 ipx10794 kernel: Stack: 0000086c 0000086c c02261e3 f1b7a480 cdff2000 f4853ed0 cde67280 c0275f82
Oct 27 14:52:19 ipx10794 kernel:        f4853eb4 f4853e94 f44e9180 00000000 0000086c 000007b6 00000064 00000065
Oct 27 14:52:19 ipx10794 kernel:        00000000 00000000 00000000 ffffff95 c028f980 f4853eb4 dffeb280 0000086c[/b]
Oct 27 14:52:19 ipx10794 kernel: Call Trace:
Oct 27 14:52:19 ipx10794 kernel:  [<c02261e3>] memcpy_fromiovec+0x27/0x4a
Oct 27 14:52:19 ipx10794 kernel:  [<c0275f82>] unix_stream_sendmsg+0x1d6/0x2df
Oct 27 14:52:19 ipx10794 kernel:  [<c021fc04>] do_sock_write+0xa3/0xaa
Oct 27 14:52:19 ipx10794 kernel:  [<c0220160>] sock_aio_write+0x53/0x61
Oct 27 14:52:19 ipx10794 kernel:  [<c0159cb2>] do_sync_write+0xb6/0xf1
Oct 27 14:52:19 ipx10794 kernel:  [<c01712e6>] mntput_no_expire+0x11/0x6a
Oct 27 14:52:19 ipx10794 kernel:  [<c012d92d>] autoremove_wake_function+0x0/0x2d
Oct 27 14:52:19 ipx10794 kernel:  [<c015a57c>] vfs_write+0xb2/0x143
Oct 27 14:52:19 ipx10794 kernel:  [<c015ab5b>] sys_write+0x3c/0x63
Oct 27 14:52:19 ipx10794 kernel:  [<c0102c11>] sysenter_past_esp+0x56/0x79
Oct 27 14:52:19 ipx10794 kernel: Code: 40 8b 54 24 04 8b 46 28 8b 4a 28 09 c1 74 02 8e e0 8b 54 24 04 8b 46 2c 8b 4a 2c 09 c1 74 02 8e e8 8b 54 24 04 8b 86 80 02 00 00 <39> 82 80 02 00 00 74 0c 9c 59 81 e1 ff cf ff ff 09 c1 51 9d 8b
Oct 27 14:52:19 ipx10794 kernel: EIP: [<c0101f0c>] __switch_to+0x11e/0x166 SS:ESP 0068:f4853e0c
Oct 27 16:37:39 ipx10794 kernel:  <1>BUG: unable to handle kernel NULL pointer dereference at virtual address 00000003
Oct 27 16:37:39 ipx10794 kernel:  printing eip:
Oct 27 16:37:39 ipx10794 kernel: c02807d5
Oct 27 16:37:39 ipx10794 kernel: *pde = 00000000
Oct 27 16:37:39 ipx10794 kernel: Oops: 0000 [#2]
Oct 27 16:37:39 ipx10794 kernel: SMP
Oct 27 16:37:39 ipx10794 kernel: Modules linked in: ipv6 quota_v2 dm_snapshot dm_mirror dm_mod shpchp pci_hotplug psmouse rtc i2c_i801 i2c_core evdev serio_raw intel_agp agpgart pcspkr ext3 jbd mbcache ide_disk 8139too 8139cp mii piix generic ide_core thermal processor fan
Oct 27 16:37:39 ipx10794 kernel: CPU:    0
Oct 27 16:37:39 ipx10794 kernel: EIP:    0060:[<c02807d5>]    Not tainted VLI
Oct 27 16:37:39 ipx10794 kernel: EFLAGS: 00010246   (2.6.18-5-686 #1)
Oct 27 16:37:39 ipx10794 kernel: EIP is at _spin_lock_irqsave+0x1d/0x27
Oct 27 16:37:39 ipx10794 kernel: eax: 00000003   ebx: f4413ed8   ecx: 00000276   edx: b5395180
Oct 27 16:37:39 ipx10794 kernel: esi: b5395180   edi: d947c000   ebp: d947c000   esp: f4413e0c
Oct 27 16:37:39 ipx10794 kernel: ds: 007b   es: 007b   ss: 0068
[COLOR="Red"]Oct 27 16:37:39 ipx10794 kernel: Process mysqld (pid: 3624, ti=f4412000 task=c7247aa0 task.ti=f4412000)
Oct 27 16:37:39 ipx10794 kernel: Stack: 000009db 000009db c02261e3 c2a17c80 d947c000 f4413ed0 d0d83980 c0275f82
Oct 27 16:37:39 ipx10794 kernel:        f4413eb4 f4413e94 f7b8f100 00000000 000009db 000007b6 00000064 00000065
Oct 27 16:37:39 ipx10794 kernel:        00000000 00000000 00000000 ffffff95 c028f980 f4413eb4 efc4cb80 000009db [/COLOR]
Oct 27 16:37:39 ipx10794 kernel: Call Trace:
Oct 27 16:37:39 ipx10794 kernel:  [<c02261e3>] memcpy_fromiovec+0x27/0x4a
Oct 27 16:37:39 ipx10794 kernel:  [<c0275f82>] unix_stream_sendmsg+0x1d6/0x2df
Oct 27 16:37:39 ipx10794 kernel:  [<c021fc04>] do_sock_write+0xa3/0xaa
Oct 27 16:37:39 ipx10794 kernel:  [<c0220160>] sock_aio_write+0x53/0x61
Oct 27 16:37:39 ipx10794 kernel:  [<c0116412>] __activate_task+0x1c/0x29
Oct 27 16:37:39 ipx10794 kernel:  [<c0159cb2>] do_sync_write+0xb6/0xf1
Oct 27 16:37:39 ipx10794 kernel:  [<c012d92d>] autoremove_wake_function+0x0/0x2d
Oct 27 16:37:39 ipx10794 kernel:  [<c015a57c>] vfs_write+0xb2/0x143
Oct 27 16:37:39 ipx10794 kernel:  [<c015ab5b>] sys_write+0x3c/0x63
Oct 27 16:37:39 ipx10794 kernel:  [<c0102c11>] sysenter_past_esp+0x56/0x79
Oct 27 16:37:39 ipx10794 kernel: Code: ea ff b2 01 86 10 8b 04 24 e9 83 12 ea ff 9c 5a fa f0 fe 08 79 1c f7 c2 00 02 00 00 74 0b fb f3 90 80 38 00 7e f9 fa eb e8 f3 90 <80> 38 00 7f e1 eb f7 89 d0 c3 fa f0 fe 08 79 09 f3 90 80 38 00
Oct 27 16:37:39 ipx10794 kernel: EIP: [<c02807d5>] _spin_lock_irqsave+0x1d/0x27 SS:ESP 0068:f4413e0c


mtopzeigt mir einen nach dem anderen Eintrag rot an und die DB wird total überlastet.
In der MySQL Error.log keine Fehler.
Es scheint so, als ob nach diesem Fehler einfach MySQL überlastet ist.
Ein /etc/init.d/mysql stop dauert ewig etc.
Der Server selbst rennt dabei aber 1a. Top zeigt keine Schwächen
und auch der apache rennt einwandfrei und erreichbar weiter.

MySQL wir in der Kernl.log auch erwähnt.

Ist doch die Hardware schuld?


Gruß
Snatch

User avatar
Joe User
Project Manager
Project Manager
Posts: 11599
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Kernel Fehler, der die Datenbank lahmt.

Post by Joe User » 2007-10-27 21:41

Code: Select all

Oct 27 16:37:39 ipx10794 kernel: EIP: [<c02807d5>] _spin_lock_irqsave+0x1d/0x27 SS:ESP 0068:f4413e0c

Richt für mich nach sterbender Festplatte.

snatch
Posts: 19
Joined: 2004-02-25 17:49

Re: Kernel Fehler, der die Datenbank lahmt.

Post by snatch » 2007-10-27 21:47

Handelt es sich dabei aber um die HDD auf der das System rennt ?
Denn ich habe 2 Drin. Die zweite ist jedoch nur zum Speicher großer Daten.
Oder kann auch die zweite HDD schuld sein?

User avatar
Joe User
Project Manager
Project Manager
Posts: 11599
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Kernel Fehler, der die Datenbank lahmt.

Post by Joe User » 2007-10-27 22:01

Wenn, dann ist es die Platte, auf der /var/lib/mysql liegt.

snatch
Posts: 19
Joined: 2004-02-25 17:49

Re: Kernel Fehler, der die Datenbank lahmt.

Post by snatch » 2007-10-27 22:11

Ja, /var/lib/mysql habe ich bereits zum testen auf die zweite HDD geschoben.
Aber da bekomme ich nach eine Zeit die gleichen Fehler.

Habe nun auch 1GB große Dateien erzeugt, gepackt und entpackt etc.
Auf beiden HDDs. Um eben zu schauen ob die HDD spinnt.
Aber habe keine dieser Meldungen bekommen.

Vielleicht doch was anderes?

Was vermutet ihr? Eher Hardware oder eher software.
Könnte ein Hardwarecheck machen, kost mich aber etwas.

Gruß
Snatch

oxygen
RSAC
Posts: 2179
Joined: 2002-12-15 00:10
Location: Bergheim

Re: Kernel Fehler, der die Datenbank lahmt.

Post by oxygen » 2007-10-27 22:39

Der Fehler sagt nur aus dass der Kernel EIP gerade in der procedure _spin_lock_irqsave steht. Dabei handelt es sich um eine Semaphore der in SMP Systemen benutzt wird.
Das kann ein Hardwareproblem sein. Aber allein von der Kernelfehlermeldung kann man nicht auf eine kaputte Festplatte schließen.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11599
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Kernel Fehler, der die Datenbank lahmt.

Post by Joe User » 2007-10-27 22:51

Hmm, hätte ich mal zuerst den Kernel-Source gegreppt :(
Welche MySQL-Version mit welchen Engines betreibst Du?

snatch
Posts: 19
Joined: 2004-02-25 17:49

Re: Kernel Fehler, der die Datenbank lahmt.

Post by snatch » 2007-10-28 07:51

mysql Ver 14.12 Distrib 5.0.32, for px-linux-gnu (i486) using readline 5.2

Was meinst du mit Engines?


Ach ja, der Fehler ist gestern 4x aufgetreten und heute über Nacht kein einziges mal.