Aussagekraft von unixbench-4.1-wht

[debianator]

Hallo,

in diversen Foren wird zum Vergleich der Performance gerne der unixbench-4.1-wht herangezogen.

http://www.webhostingtalk.com/showthrea ... did=308055

Wie schätzt Ihr die Aussagekraft der Ergebnisse ein?

Wenn ich mir die Ergebnisse ansehe, die gepostet werden, dann sehen die sehr uneinheitlich aus.
Der Finalscore bei "kleinen" Systemen ist teilweise höher als bei definitiv leistungsstärkeren Maschinen.

Ich bin zu der Einschätzung gelangt, das der Benchmark absolut ungeeignet ist,
unterschiedliche Systeme zu vergleichen. Zumal oft die Bestriebsysteme nicht einheitlich sind.

Bestenfalls könnte man auf ein und derselben Maschine über einen Zeitablauf messen, um vielleicht lastkritische Zeiten zu ermitteln.

Wie ist eure Meinung dazu?

Ich habe mal einen Virtuozzo-basierten V-server, eine virtuelle Maschine unter XEN und ein Uralt-Notebook mit einander verglichen.

Hier das alte Laptop, welches definitiv weniger Leistung haben sollte, als der V-Server.
Der Wert ist doppelt so hoch.

Code: Select all

==============================================================
BYTE UNIX Benchmarks (Version 4.1-wht.1)
System -- Linux x 2.6.24.1-6-686 #1 SMP Sun Feb 10 13:23:16 CET 2008 i686 GN
U/Linux
rootfs                 9614148   8164972    960800  90% /

Start Benchmark Run: Fr 13. Feb 00:01:32 CET 2009
 00:01:32 up  5:04,  6 users,  load average: 0.24, 0.19, 0.12

End Benchmark Run: Fr 13. Feb 00:12:55 CET 2009
 00:12:55 up  5:15,  6 users,  load average: 12.46, 5.90, 2.81

                     INDEX VALUES            
TEST                                        BASELINE     RESULT      INDEX

Dhrystone 2 using register variables        376783,0  3113000,0       82,6
Double-Precision Whetstone                      83,0     1217,7      146,7
Execl Throughput                               188,0     3427,7      182,3
File Copy 1024 bufsize 2000 maxblocks         2672,0    56312,0      210,7
File Copy 256 bufsize 500 maxblocks           1077,0    20436,0      189,7
File Read 4096 bufsize 8000 maxblocks        15382,0   270081,0      175,6
Pipe-based Context Switching                 15448,0   164322,6      106,4
Pipe Throughput                             111814,0   454422,7       40,6
Process Creation                               569,0    11797,1      207,3
Shell Scripts (8 concurrent)                    44,0      356,0       80,9
System Call Overhead                        114433,0   677413,8       59,2
                                                                 =========
     FINAL SCORE                                                     118,8

-------------------------------------------------------------------------------------
Auf einen V-Server sieht das eher so aus (die XEN Maschine war ähnlich):

Code: Select all

Start Benchmark Run: Fr 13. Feb 00:00:45 CET 2009
 12:00am  an 9 Tage 13:09,  2 Benutzer,  Durchschnittslast: 0,00, 0,36, 1,49

End Benchmark Run: Fr 13. Feb 00:13:00 CET 2009
 12:13am  an 9 Tage 13:21,  2 Benutzer,  Durchschnittslast: 17,16, 6,86, 3,73


                     INDEX VALUES
TEST                                        BASELINE     RESULT      INDEX

Dhrystone 2 using register variables        376783.7  2840976.7       75.4
Double-Precision Whetstone                      83.1      874.3      105.2
Execl Throughput                               188.3     1183.7       62.9
File Copy 1024 bufsize 2000 maxblocks         2672.0    43872.0      164.2
File Copy 256 bufsize 500 maxblocks           1077.0    16358.0      151.9
File Read 4096 bufsize 8000 maxblocks        15382.0   240161.0      156.1
Pipe-based Context Switching                 15448.6   102602.9       66.4
Pipe Throughput                             111814.6   392910.5       35.1
Process Creation                               569.3     2970.7       52.2
Shell Scripts (8 concurrent)                    44.8       99.9       22.3
System Call Overhead                        114433.5   364108.4       31.8
                                                                 =========
     FINAL SCORE                                                      69.0

[daemotron]

Benchmarks für die "Systemleistung" sind generell eine schwierige und schwammige Angelegenheit. Du bist besser bedient, wenn Du gezielt einzelne Aspekte wie z. B. Disk I/O Leistung oder FLOPS unter kontrollierten Bedingungen ermittelst. Diese Werte sind dann wieder vergleichbar, auch über Maschinen hinweg. Ein Pauschal-Benchmark, der alle möglichen Faktoren einbezieht und dann irgendwie gewichtet zu einem Endwert verwurstet, sagt tatsächlich relativ wenig darüber aus, ob Applikation X auf der einen oder anderen Maschine performanter läuft - das hängt nämlich vom spezifischen Bedarf der Applikation ab.

Und ja, ein (von den angegebenen Leistungsdaten her vermeintlich schnellerer) VServer kann langsamer sein als alte dedizierte Hardware - die Virtualisierung erzeugt Overhead, und "Nachbarn" können im entscheidenden Augenblick Engpass-Ressourcen (CPU, I/O) blockieren. Dadurch sind Benchmarks jeglicher Art kaum geeignet, um die Leistungsfähigkeit eines VServers zu beurteilen - die Ergebnisse werden extrem schwanken, weil Du eben nicht in der Lage sein wirst, kontrollierte Bedingungen herzustellen.

[Joe User]

Benchmarks sind genauso aussagekräftig wie Statistiken, nämlich gar nicht ;)