SPEC95: Hersteller-Benchmarks nicht praxistauglich

Hannover, den 23. Januar 1996 - Die 1995 vorgestellte Benchmark-Suite SPEC95 sollte eigentlich dazu dienen, den Mißbrauch mit den bisher verwendeten SPEC92-Zahlen einzudämmen. Eine Überprüfung der Test-Suite und erste Leistungsmessungen durch das hannoversche Computermagazin iX ergaben, daß nicht einmal die Referenzmessung für den neuen Benchmark nach den SPEC-eigenen Regeln ermittelt wurde.

SPECint und SPECfp werden von allen namhaften Computer-Herstellern herangezogen, um vergleichbare Aussagen über die Leistungsfähigkeit ihrer Systeme zu publizieren. Basis sind die Vorschriften der Standard Performance Evaluation Corporation (SPEC), einerVereinigung von über 25 großen Hardware-Anbietern von Intel über HP bis zu Sun Microsystems. Basis waren bislang SPECint92 und SPECfp92, beide messen die Leistung relativ zu einer heute völlig veralteten Maschine, der DEC VAX780. Mit der SPEC-Suite95 sollte alles besser werden.

Recherchen und eigene Messungen von iX ergaben aber:

• Schon bei den Referenzmessung auf einer SPARCstation 10/40 wurde geschlampt. Statt der vorgeschriebenen drei Messungen gab man sich aus Zeitgründen mit einer einzigen zufrieden. Im iX-Labor war der Referenzwert nicht reproduzierbar.
• Die notwendigen Hardware-Voraussetzungen für einen Lauf der SPEC95 haben mit denen handelsüblicher Personalcomputer und Workstation wenig gemein. So sind mindestens 128 MByte Arbeitsspeicher erforderlich.
• Für die Ermittlung der SPEC-Werte wurden zum Teil Compiler-Optionen eingesetzt, die keinen sicheren Programmcode mehr erzeugen. Außerdem differieren die Compiler-Optionen innerhalb einzelner Teile der Benchmark-Suite.
  

Die von iX ermittelten Werte mit gleichen, sicheren Compiler-Optionen für den komplettem Benchmark lagen um bis zu 20 Prozent unter den Herstellerangaben. Auf gängigen Arbeitsplatzrechnern war der Test überhaupt nicht lauffähig.

Nähere Informationen und Hintergründe in der aktuellen iX, ab 25. Januar am Kiosk.