RootForum Community

Resources for System-Administrators
https://www.rootforum.org/forum/

Munin erstellt keine Graphen

https://www.rootforum.org/forum/viewtopic.php?t=47513

Page 2 of 2

Re: Munin erstellt keine Graphen

Posted: 2007-11-22 18:44
by floogy
Wie wäre es mit der Sicherung der Konfiguration, und danach munin zu stoppen um es daraufhin zu purgen, und von vorn anfangen?

EDIT: Ich sehe gerade, dass ich das schon mal vorschlug, weiß aber nicht, ob Du diesen Schritt schon ausgeführt hast.

EDIT2: Eventuell war bei Deinem purge munin noch am Laufen, so dass die Reinstallation die Konfiguration nicht überschrieb, da munin noch darauf zugriff?

Re: Munin erstellt keine Graphen

Posted: 2007-11-22 20:29
by sonnenrot
Wie wäre es mit der Sicherung der Konfiguration, und danach munin zu stoppen um es daraufhin zu purgen, und von vorn anfangen?
Habe ich nochmal ausprobiert hat nichts gebracht.
EDIT: Ich sehe gerade, dass ich das schon mal vorschlug, weiß aber nicht, ob Du diesen Schritt schon ausgeführt hast.
Habe ich - mehrmals
EDIT2: Eventuell war bei Deinem purge munin noch am Laufen, so dass die Reinstallation die Konfiguration nicht überschrieb, da munin noch darauf zugriff?
Nein das war leider nicht der Fall. Das neu installieren klappte auch prima - konfig neu (habe nichts geändert) und refresh alle 5 Minuten.

In var/www/munin sind keine graphiken das ist nicht normal oder?

Code: Select all

v31332:/var/www/munin# tree 
.
|-- definitions.html
|-- index.html
|-- localdomain
|   |-- index.html
|   `-- localhost.localdomain.html
|-- logo.png
`-- style.css
[/code]

Re: Munin erstellt keine Graphen

Posted: 2007-11-22 20:53
by floogy
Nee, da sollten die graphen als png hinterlegt sein.

Code: Select all

/var/www/munin
|-- aldomain
|   |-- index.html
|   `-- localhost.localdomain.html
|-- definitions.html
|-- index.html
|-- localdomain
|   |-- index.html
|   |-- localhost.localdomain-apache_accesses-day.png
|   |-- localhost.localdomain-apache_accesses-month.png
|   |-- localhost.localdomain-apache_accesses-week.png
|   |-- localhost.localdomain-apache_accesses-year.png
|   |-- localhost.localdomain-apache_accesses.html

Code: Select all

# ls -ld /var/www/     
drwxrwsr-x 13 root www-data 1024 2007-11-17 18:44 /var/www/
# ls -ld /var/www/munin
drwxr-xr-x 5 munin munin 1024 2007-11-03 23:50 /var/www/munin
# ls -ld /var/www/munin/*
drwxr-xr-x 2 munin munin  1024 2006-09-16 05:27 /var/www/munin/aldomain
-rw-r--r-- 1 munin munin  2555 2006-06-07 11:40 /var/www/munin/definitions.html
-rw-r--r-- 1 munin munin  2605 2007-11-22 20:46 /var/www/munin/index.html
drwxr-xr-x 2 munin munin 14336 2007-11-06 03:26 /var/www/munin/localdomain
-rw-r--r-- 1 munin munin   473 2006-06-07 11:40 /var/www/munin/logo.png
drwxr-xr-x 2 munin munin 12288 2007-11-06 03:17 /var/www/munin/ncsrv.de
-rw-r--r-- 1 munin munin  3538 2006-06-07 11:40 /var/www/munin/style.css

Re: Munin erstellt keine Graphen

Posted: 2007-11-22 21:03
by sonnenrot
Rechte identisch

Re: Munin erstellt keine Graphen

Posted: 2007-11-22 21:23
by floogy

Code: Select all

# ls /etc/munin
munin.conf  munin-node.conf  plugin-conf.d  plugins  templates
# ls /etc/munin/*
/etc/munin/munin.conf  /etc/munin/munin-node.conf

/etc/munin/plugin-conf.d:
munin-node  munin-node.dpkg-old

/etc/munin/plugins:
apache_accesses         cpu         mysql_bytes        postfix_mailqueue                           vebc_numfile_shmpages_33189
apache_activity         cpuload_    mysql_qcache       postfix_mailstats                           vebc_numflock_numpty_numsiginfo_33189
apache_processes        df          mysql_qcache_mem   postfix_mailvolume                          vebc_numproc_numiptent_33189
apache_volume           df_abs      mysql_queries      processes                                   vebc_numtcpsock_numflock_numpty_33189
apache_watch_           df_inode    mysql_size_        processes_ng                                vebc_physpages_oomguarpages_33189
apt                     entropy     mysql_slowqueries  swap                                        vebc_physpages_oomguarpages_privvmpages_33189
apt_all                 forks       mysql_threads      uptime                                      vebc_privvmpages_33189
courier_mta_mailqueue   interrupts  netstat            vebc_kmemsize_33189                         vebc_tcpsndbuf_tcprcvbuf_othersockbuf_33189
courier_mta_mailstats   load        open_files         vebc_lockedpages_33189                      vmstat
courier_mta_mailvolume  memory      open_inodes        vebc_numfile_privvmpages_lockedpages_33189

/etc/munin/templates:
definitions.html  munin-comparison-day.tmpl    munin-comparison-week.tmpl  munin-domainview.tmpl  munin-overview.tmpl     style.css
logo.png          munin-comparison-month.tmpl  munin-comparison-year.tmpl  munin-nodeview.tmpl    munin-serviceview.tmpl
alles root:root

Code: Select all

# egrep -v '#|^ *$' /etc/munin/munin.conf
dbdir   /var/lib/munin
htmldir /var/www/munin
logdir  /var/log/munin
rundir  /var/run/munin
tmpldir /etc/munin/templates
[localhost.localdomain]
    address 127.0.0.1
    use_node_name yes
[pvXX.ncsrv.de]
    address 127.0.0.1
    use_node_name yes

Code: Select all

# egrep -v '#|^ *$' /etc/munin/munin.conf
dbdir   /var/lib/munin
htmldir /var/www/munin
logdir  /var/log/munin
rundir  /var/run/munin
tmpldir /etc/munin/templates
[localhost.localdomain]
    address 127.0.0.1
    use_node_name yes
[pvXX.ncsrv.de]
    address 127.0.0.1
    use_node_name yes
# egrep -v '#|^ *$' /etc/munin/munin-node.conf
log_level 4
log_file /var/log/munin/munin-node.log
port 4949
pid_file /var/run/munin/munin-node.pid
background 1
setseid 1
host *
user root
group root
setsid yes
ignore_file ~$
ignore_file .bak$
ignore_file %$
ignore_file .dpkg-(tmp|new|old|dist)$
ignore_file .rpm(save|new)$
allow ^127.0.0.1$
# nmap localhost

Code: Select all

Starting Nmap 4.11 ( http://www.insecure.org/nmap/ ) at 2007-11-22 21:21 CET
Interesting ports on pvXX.ncsrv.de (127.0.0.1):
Not shown: 1677 closed ports
PORT     STATE SERVICE
25/tcp   open  smtp
80/tcp   open  http
3306/tcp open  mysql
port 4949 ist trotzdem erreichbar ?

Code: Select all

# netstat -tulpe|grep 4949
#
funktioniert trotzdem, hmmm...

Re: Munin erstellt keine Graphen

Posted: 2007-11-22 21:25
by floogy

Code: Select all

# netstat -tulpen|grep 4949
tcp        0      0 0.0.0.0:4949            0.0.0.0:*               LISTEN     0          462884032  26445/munin-node

Re: Munin erstellt keine Graphen

Posted: 2007-11-22 21:34
by sonnenrot
der einzige Unterschied - bei mir werden weniger plugins geladen - das testen der plugins funktioniert
/etc/munin/plugins:

Code: Select all

/etc/munin# ls plugins/
cpu       forks       mysql_bytes        netstat      swap
df        interrupts  mysql_queries      open_files   vmstat
df_inode  load        mysql_slowqueries  open_inodes
entropy   memory      mysql_threads      processes
alles root:root
ist es auch
port 4949 ist trotzdem erreichbar ?
über lo ja - nach außen ist der port gesperrt - zum testen hatte ich ihn mal geöffnet - geändert hat das leider nichts.

Code: Select all

tcp        0      0 0.0.0.0:4949            0.0.0.0:*               LISTEN     0          520423483  3600/munin-node
alles seltsam

Re: Munin erstellt keine Graphen

Posted: 2007-11-23 10:59
by floogy

Code: Select all

# ls -ld /var/run/munin
drwxr-xr-x 2 munin root 1024 2007-11-23 10:46 /var/run/munin
# ls -ld /var/run/munin/*
-rw-r--r-- 1 munin munin 5 2007-11-23 10:46 /var/run/munin/munin-datafile.lock
-rw-r--r-- 1 munin munin 4 2007-11-23 10:46 /var/run/munin/munin-graph.lock
-rw-r--r-- 1 munin munin 4 2007-11-23 10:46 /var/run/munin/munin-html.lock
-rw-r--r-- 1 munin munin 0 2007-11-23 10:46 /var/run/munin/munin-limits.lock
-rw-r--r-- 1 munin munin 5 2007-11-23 10:45 /var/run/munin/munin-localdomain-localhost.localdomain.lock
-rw-r--r-- 1 munin munin 5 2007-11-23 10:45 /var/run/munin/munin-ncsrv.de-pvXX.ncsrv.de.lock
-rw-r--r-- 1 root  root  6 2007-11-17 18:33 /var/run/munin/munin-node.pid
-rw-r--r-- 1 munin munin 5 2007-11-23 10:45 /var/run/munin/munin-update.lock

Code: Select all

# ls -ld /var/lib/munin  
drwxr-xr-x 5 munin munin 1024 2007-11-23 10:50 /var/lib/munin
# ls -ld /var/lib/munin/*
-rw-r--r-- 1 munin munin 99096 2007-11-23 10:46 /var/lib/munin/datafile
-rw-r--r-- 1 munin munin 10574 2007-11-23 10:46 /var/lib/munin/limits
drwxr-xr-x 2 munin munin  8192 2007-11-06 03:25 /var/lib/munin/localdomain
-rw-r--r-- 1 munin munin  5065 2007-11-23 10:46 /var/lib/munin/munin-graph.stats
-rw-r--r-- 1 munin munin 10501 2007-11-23 10:46 /var/lib/munin/munin-update.stats
-rw-r--r-- 1 munin munin  4158 2007-11-23 10:51 /var/lib/munin/munin-update.stats.tmp
drwxr-xr-x 2 munin munin  7168 2007-11-06 03:15 /var/lib/munin/ncsrv.de
drwxrwxr-x 2 munin munin  1024 2007-02-03 13:40 /var/lib/munin/plugin-state

Code: Select all

# ls -l /etc/munin/templates/
total 38
-rw-r--r-- 1 root root 2555 2005-04-03 02:54 definitions.html
-rw-r--r-- 1 root root  473 2005-04-03 02:54 logo.png
-rw-r--r-- 1 root root 3286 2006-10-17 14:49 munin-comparison-day.tmpl
-rw-r--r-- 1 root root 3298 2006-10-17 14:49 munin-comparison-month.tmpl
-rw-r--r-- 1 root root 3292 2006-10-17 14:49 munin-comparison-week.tmpl
-rw-r--r-- 1 root root 3292 2006-10-17 14:49 munin-comparison-year.tmpl
-rw-r--r-- 1 root root 2351 2006-10-17 14:49 munin-domainview.tmpl
-rw-r--r-- 1 root root 3114 2006-10-17 14:49 munin-nodeview.tmpl
-rw-r--r-- 1 root root 1942 2006-10-17 14:49 munin-overview.tmpl
-rw-r--r-- 1 root root 4772 2006-10-17 14:49 munin-serviceview.tmpl
-rw-r--r-- 1 root root 3538 2005-04-03 02:54 style.css

Code: Select all

# find /etc -iname *munin*
/etc/cron.d/munin
/etc/cron.d/munin-node
/etc/init.d/munin-node
/etc/logcheck/ignore.d.server/munin
/etc/logrotate.d/munin-node
/etc/logrotate.d/munin
/etc/munin
/etc/munin/plugin-conf.d/munin-node
/etc/munin/plugin-conf.d/munin-node.dpkg-old
/etc/munin/templates/munin-domainview.tmpl
/etc/munin/templates/munin-comparison-day.tmpl
/etc/munin/templates/munin-comparison-month.tmpl
/etc/munin/templates/munin-comparison-week.tmpl
/etc/munin/templates/munin-comparison-year.tmpl
/etc/munin/templates/munin-nodeview.tmpl
/etc/munin/templates/munin-overview.tmpl
/etc/munin/templates/munin-serviceview.tmpl
/etc/munin/munin-node.conf
/etc/munin/munin.conf
/etc/rc0.d/K20munin-node
/etc/rc1.d/K20munin-node
/etc/rc2.d/S98munin-node
/etc/rc3.d/S98munin-node
/etc/rc4.d/S98munin-node
/etc/rc5.d/S98munin-node
/etc/rc6.d/K20munin-node

Code: Select all

# ls -l /etc/cron.d/munin
-rw-r--r-- 1 root root 525 2006-10-17 14:49 /etc/cron.d/munin
# ls -l /etc/cron.d/munin-node
-rw-r--r-- 1 root root 506 2006-10-17 14:49 /etc/cron.d/munin-node
# ls -l /etc/init.d/munin-node
-rwxr-xr-x 1 root root 5295 2006-10-14 23:35 /etc/init.d/munin-node
# cat /etc/cron.d/munin

Code: Select all

#
# cron-jobs for munin
#

MAILTO=root

@reboot         root  if [ ! -d /var/run/munin ]; then /bin/bash -c 'perms=(`/usr/sbin/dpkg-statoverride --list /var/run/munin`); mkdir /var/run/munin; chown ${perms[0]:-munin}:${perms[1]:-root} /var/run/munin; chmod ${perms[2]:-0755} /var/run/munin'; fi
*/5 * * * *     munin if [ -x /usr/bin/munin-cron ]; then /usr/bin/munin-cron; fi
14 10 * * *     munin if [ -x /usr/share/munin/munin-limits ]; then /usr/share/munin/munin-limits --force --contact nagios --contact old-nagios; fi
# cat /etc/cron.d/munin-node

Code: Select all

#
# cron-jobs for munin-node
#

MAILTO=root

# If the APT plugin is enabled, update packages databases approx. once
# an hour (12 invokations an hour, 1 in 12 chance that the update will
# happen), but ensure that there will never be more than two hour (7200
# seconds) interval between updates..
*/5 * * * *     root if [ -x /etc/munin/plugins/apt_all ]; then /etc/munin/plugins/apt_all update 7200 12 >/dev/null; elif [ -x /etc/munin/plugins/apt ]; then /etc/munin/plugins/apt update 7200 12 >/dev/null; fi
Ich denke, wegen "too many open files", und den damit verbundenen Problemen, bekomme ich manchmal diese Mail von logcheck:

Code: Select all

Lock already exists: /var/run/munin/munin-update.lock. Dying.
Lock already exists: /var/run/munin/munin-html.lock. Dying.
Das sieht dann im auth.log so aus:

Code: Select all

Nov 23 12:12:51 pvXX CRON[5567]: (pam_unix) session opened for user munin by (uid=0)
Nov 23 12:13:10 pvXX CRON[3247]: (pam_unix) session closed for user root
Nov 23 12:13:22 pvXX CRON[5568]: (pam_unix) session closed for user root
Nov 23 12:13:32 pvXX su[7454]: Unknown UID: 0
Nov 23 12:13:52 pvXX su[9230]: Successful su for root by root
Nov 23 12:13:56 pvXX su[9230]: + ??? root:root
Nov 23 12:14:00 pvXX su[9230]: (pam_unix) session opened for user root by (uid=0)
Nov 23 12:14:04 pvXX su[9230]: (pam_unix) session closed for user root
Nov 23 12:14:08 pvXX su[9387]: Successful su for root by root
Nov 23 12:14:12 pvXX su[9387]: + ??? root:root
Nov 23 12:14:16 pvXX su[9387]: (pam_unix) session opened for user root by (uid=0)
Nov 23 12:14:22 pvXX su[9387]: (pam_unix) session closed for user root
Nov 23 12:14:26 pvXX su[9505]: Successful su for root by root
Nov 23 12:14:30 pvXX su[9505]: + ??? root:root
Nov 23 12:14:36 pvXX su[9505]: (pam_unix) session opened for user root by (uid=0)
Nov 23 12:14:41 pvXX su[9909]: Successful su for root by root
Nov 23 12:14:45 pvXX su[9909]: + ??? root:root
Nov 23 12:14:49 pvXX su[10024]: PAM unable to dlopen(/lib/security/pam_mail.so)
Nov 23 12:14:53 pvXX su[10024]: PAM [dlerror: /lib/security/pam_mail.so: cannot open shared object file: Too many open files in system]
Nov 23 12:14:56 pvXX su[10024]: PAM adding faulty module: /lib/security/pam_mail.so
Nov 23 12:14:59 pvXX su[10024]: PAM no modules loaded for `su' service
Nov 23 12:15:07 pvXX su[10024]: Successful su for root by root
Nov 23 12:15:14 pvXX su[10024]: + ??? root:root
Nov 23 12:15:21 pvXX CRON[3436]: (pam_unix) session closed for user munin
Hier ein Ausschnitt des dazu gehörenden /var/log/munin/munin-node.log:

Code: Select all

/etc/munin/plugins/vebc_physpages_oomguarpages_33189: cannot make pipe for command substitution: Too many open files in system
/etc/munin/plugins/vebc_physpages_oomguarpages_33189: pipe error: Too many open files in system
2007/11/23-12:15:22 Plugin "vebc_physpages_oomguarpages_33189" exited with status 33024. ----
/etc/munin/plugins/vebc_physpages_oomguarpages_privvmpages_33189: pipe error: Too many open files in system
/etc/munin/plugins/vebc_physpages_oomguarpages_privvmpages_33189: pipe error: Too many open files in system
/etc/munin/plugins/vebc_physpages_oomguarpages_privvmpages_33189: line 110: /bin/su: Too many open files in system
/etc/munin/plugins/vebc_physpages_oomguarpages_privvmpages_33189: pipe error: Too many open files in system
2007/11/23-12:15:22 Plugin "vebc_physpages_oomguarpages_privvmpages_33189" exited with status 33024. ----
/etc/munin/plugins/netstat: line 95: /bin/netstat: Too many open files in system
/etc/munin/plugins/netstat: line 95: /usr/bin/awk: Too many open files in system
2007/11/23-12:15:22 Plugin "netstat" exited with status 32256. ----
Funktioniert allerdings trotzdem.

Ich würde sagen, wenn mehrmaliges vergleichen nichts bringt, bleibt noch die munin user maillist auf sf.net.

Ansonsten cacti, monit oder nagios.

http://www.debianhelp.co.uk/monitortools.htm

Re: Munin erstellt keine Graphen

Posted: 2007-11-24 14:39
by sonnenrot
# ls -ld /var/lib/munin/*
-rw-r--r-- 1 munin munin 99096 2007-11-23 10:46 /var/lib/munin/datafile
-rw-r--r-- 1 munin munin 10574 2007-11-23 10:46 /var/lib/munin/limits
drwxr-xr-x 2 munin munin 8192 2007-11-06 03:25 /var/lib/munin/localdomain
-rw-r--r-- 1 munin munin 5065 2007-11-23 10:46 /var/lib/munin/munin-graph.stats
-rw-r--r-- 1 munin munin 10501 2007-11-23 10:46 /var/lib/munin/munin-update.stats
-rw-r--r-- 1 munin munin 4158 2007-11-23 10:51 /var/lib/munin/munin-update.stats.tmp
drwxr-xr-x 2 munin munin 7168 2007-11-06 03:15 /var/lib/munin/ncsrv.de
drwxrwxr-x 2 munin munin 1024 2007-02-03 13:40 /var/lib/munin/plugin-state
Meine Ausgabe

Code: Select all

~# ls -ld /var/lib/munin/* 
-rw-r--r-- 1 munin munin  235 2007-11-24 14:25 /var/lib/munin/datafile
-rw-r--r-- 1 munin munin   14 2007-11-24 14:25 /var/lib/munin/limits
-rw-r--r-- 1 munin munin   76 2007-11-24 14:25 /var/lib/munin/munin-graph.stats
-rw-r--r-- 1 munin munin   70 2007-11-24 14:25 /var/lib/munin/munin-update.stats
drwxrwxr-x 2 munin munin 4096 2006-10-17 14:49 /var/lib/munin/plugin-state
auth.log ausgabe

Code: Select all

Nov 24 14:35:01 v31332 CRON[30695]: (pam_unix) session opened for user root by ($
Nov 24 14:35:02 v31332 CRON[30697]: (pam_unix) session opened for user munin by $
Nov 24 14:35:02 v31332 CRON[30695]: (pam_unix) session closed for user root
Nov 24 14:35:02 v31332 CRON[30697]: (pam_unix) session closed for user munin
Hier ein Ausschnitt des dazu gehörenden /var/log/munin/munin-node.log:
/var/log/munin/munin-node.log ist bei mir leer.

Re: Munin erstellt keine Graphen

Posted: 2007-11-24 14:57
by floogy
drwxr-xr-x 2 munin munin 8192 2007-11-06 03:25 /var/lib/munin/localdomain
Oder der domainname sollte wenigstens drin sein, denke ich.

Re: Munin erstellt keine Graphen

Posted: 2007-11-24 17:48
by sonnenrot
Ansonsten cacti, monit oder nagios.
Den großen Vorteil den ich in munin sah - war das ich die Informationen nur mittels eines httpd Server ohne extra php oder perl Unterstützung ausliefern konnte. Kennst du oder jemand anderes eine ähnliche alternative?
Oder der domainname sollte wenigstens drin sein, denke ich.
ja stimmt - seltsam das auch kein log etwas zu sagen hat - gibt es die Möglichkeit in Munin das LogLevel hochzusetzen?

Re: Munin erstellt keine Graphen

Posted: 2007-11-24 17:58
by floogy

Code: Select all

# egrep -v '#|^ *$' /etc/munin/munin.conf
dbdir   /var/lib/munin
htmldir /var/www/munin
logdir  /var/log/munin
rundir  /var/run/munin
tmpldir /etc/munin/templates
[localhost.localdomain]
    address 127.0.0.1
    use_node_name yes
[pvXX.ncsrv.de]
    address 127.0.0.1
    use_node_name yes
Vergleiche bitte mal!

Wegen dem LogLevel schaue hier bitte mal in der ersten Zeile nach:

Code: Select all

# egrep -v '#|^ *$' /etc/munin/munin-node.conf
log_level 4
log_file /var/log/munin/munin-node.log
port 4949
pid_file /var/run/munin/munin-node.pid
background 1
setseid 1
host *
user root
group root
setsid yes
ignore_file ~$
ignore_file .bak$
ignore_file %$
ignore_file .dpkg-(tmp|new|old|dist)$
ignore_file .rpm(save|new)$
allow ^127.0.0.1$

Re: Munin erstellt keine Graphen

Posted: 2007-11-24 18:13
by sonnenrot
Vergleiche bitte mal!
auch identisch

Code: Select all

log_level 4
= debug

Re: Munin erstellt keine Graphen

Posted: 2007-11-24 19:02
by floogy
Ich meinte eher das hier:

Code: Select all

[localhost.localdomain]
    address 127.0.0.1
    use_node_name yes
Aber wenn Du sagst, dass das identisch ist...
Wie siehts denn mit der /etc/hosts oder einem lokalem dns aus?

Code: Select all

cat /etc/hosts
127.0.0.1  pvXX.ncsrv.de pvXX localhost localhost.localdomain
356.356.356.356  pvXX.ncsrv.de pvXX

Re: Munin erstellt keine Graphen

Posted: 2007-11-24 21:31
by sonnenrot
cat /etc/hosts

Code: Select all

127.0.0.1  vServer.serverhoster.de vServer localhost localhost.localdomain

Re: Munin erstellt keine Graphen gelöst

Posted: 2009-02-10 23:46
by Anonymous
Ich hatte auch das Problem, dass munin nach einer gewissen Zeit keine Grafiken mehr erstellt bzw. aktualisiert hat.
Das Problem lässt sich zumindest auf meinem System nachstellen, siehe Master Konfigurationsdatei /etc/munin/munin.conf

Voreingestellt ist dieser Abschnitt :

Code: Select all

# Make graphs show values per minute instead of per second
#graph_period minute
Aus reiner Neugier habe ich die Konfiguration wie folgt geändert :

Code: Select all

# Make graphs show values per minute instead of per second
graph_period minute
und wunderte mich anschliessend warum die Graphen nicht mehr erstellt bzw. aktualisiert werden ](*,)

Nach dem Rollback [-o< lief alles wieder einwandfrei ! :D
All times are UTC+01:00
Page 2 of 2