Fragwürdige Testmethoden der Fachpresse - EFBE Prüfinstitut kritisiert BIKE Test.

[Olekk]

Hier ein sehr lesenswerter Beitrag zum Thema Tests in der Fahrradpresse. Ist bei Facebook, aber ich kopiere es mal hier herein.

Der Verfasser ist Leiter des EFBE Prüfinstituts für Fahrradtechnik und mir persönlich bekannt.

Selbstgerechtigkeit (substantiv, f, [ˈzɛlpstɡəˌʁɛçtɪçkaɪ̯t])

ist laut Wiktionary "Stolz auf die (vermeintliche) eigene moralische und sittliche Untadelbarkeit”.

Die BIKE lobt sich unter dem Titel “Klare Linie” in einem Beitrag vom 13.07.2020 als “Test-Instanz der Mountainbike-Szene" und nimmt für sich in Anspruch, “seriösen Journalismus”, “objektive Bewertungen” und “neutrale Testergebnisse” zu liefern: https://www.bike-magazin.de/…/testberichte-+-be…/a44513.html
Ok, wer sich auf einen derartigen Sockel stellt und auf "viele andere Fahrradmedien” herabschaut, muss sich dann vielleicht doch mal etwas Kritik gefallen lassen. Ein Kernproblem ist, wenn herstellerspezifische Testmethoden und -parameter verwendet werden und - ohne jede kritische Distanz - auf die Welt losgelassen werden. Das erzeugt Scheinobjektivität.
In Kurzform: Es gibt eine Ko-Evolution von Produkt und Test, und ein Produkt, das auf Basis eines Tests (nichts anderes als ein vereinfachtes Modell der Realität) entwickelt ist, wird in diesem Test immer besser abschneiden als eines, das auf Basis eines ganz anderen Modells und Tests entwickelt wurde. Und das hat nichts damit zu tun, welches Modell bzw. welcher Test der bessere ist. Ein einfaches Beispiel: BMW macht prima Autos, die sie auf ihren eigenen Teststrecken und mit eigenen Prüfungen testen. Mercedes macht prima Autos, testet sie auf anderen Strecken und mit anderen Prüfungen. Ein Mercedes auf der BMW-Strecke wird sehr wahrscheinlich nicht gut abschneiden, ein BMW bei Mercedes auch nicht. Die Tests sind unterschiedliche Abbilder der Nutzung beim Kunden und fallen durchaus unterschiedlich aus, aber beide führen zum Ziel.
Ganz aktuell - der Laufradtest der BIKE 07/2020: https://www.bike-magazin.de/…/test-mtb-laufraed…/a44006.html
Die Stoßprüfung (“Crash-Test”) auf die Felge zum Beispiel ist sinnvoll und richtig, nur gibt es dafür keinerlei anerkannten Industriestandard. Standardisiert ist nur der UCI Impact Test auf beide Felgenhörner bei Rennradlaufrädern: https://youtu.be/OrfF719_goE
Darüber hinaus gibt es so viele unterschiedliche Ideen, wie es Hersteller von Felgen und Laufrädern gibt.
ENVE z.B. scheint ganz gern einen Reifen zwischen Felge und Schlagkörper zu bringen, lässt den aber, zumindest für Road Bikes, parallel zur Laufradebene auftreffen: https://youtu.be/Wfu3u4Z_9oQ
BONTRAGER verwendet etwas, was ein bisschen an die französische Revolution erinnert, aber die Klinge mit Gummi abpolstert: https://www.instagram.com/p/CB6PwHvncd8/…
SANTACRUZ gibt einfach Herrn MacAskill ein Laufrad und nennt das auch “Test": https://youtu.be/VfjjiHGuHoc - der Möglichkeiten sind Legion.
Die BIKE dagegen spannt die Felge seitlich ein (fragwürdige Randbedingung?), nimmt einen Kunststoffprüfkörper mit Radius (gut: reproduzierbare Verformung statt Reifen/Gummi) und lässt ihn unter einem Winkel von 20° auf die lateral fixierte, aber radial nachgiebige(?) Felge “dreschen” (Ausdruck der BIKE): https://www.bike-magazin.de/…/test-mtb-laufraed…/a44006.html
Das kann man so machen, das ist mit Sicherheit besser als die amerikanischen Ideen oben, aber: Ist es möglich, dass das ein SYNTACE-Test ist? Der Test, der vermutlich auch den NEWMEN-Test (Michi Grätz ist Ex-Mitarbeiter von SYNTACE) inspiriert hat: https://www.newmen-components.de/…/laufraeder/felgen-impact/
Jeder angenommene Winkel zur Laufrad-Hauptebene in so einem Stoßtest kann eben nur eine Annahme sein. Wenn SYNTACE von einem Stoß (Durchschlag) unter 20° ausgeht und entsprechend konstruiert - dann wird diese Felge bei einem 20°-Stoß sehr gut aussehen, aber vielleicht bei 10° nicht mehr, und wahrscheinlich auch nicht unter 30°.
Die Alarmglocken eines BIKE-Testers müssten eigentlich dann klingeln, wenn bekannt robuste Produkte wie z.B. ein DT SWISS M 1900 Spline plötzlich im unteren Mittelfeld eines “Crash-Test” landen. Vielleicht ist das Produkt gar nicht so schwach, sondern der Test zum Vergleich untauglich? Zu dieser kritischen Reflexion scheint die BIKE nicht immer in der Lage zu sein. Und sie stolpert auch nicht darüber, dass beide SYNTACE LRS den mutmaßlichen SYNTACE-Test, wenig überraschend, mit überragenden Ergebnissen abschließen - außer vielleicht beim Gewicht. Wie würde das wohl aussehen, wenn man einen hausinternen DT SWISS-Test verwendet hätte?
Jo Klieber mit seiner Marke SYNTACE hat alles richtig gemacht. Er hat Geld und Zeit in Betriebslastenmessungen und deren Auswertung investiert, hat Prüfmethoden für Laufräder, Lenker u.v.a.m entwickelt, und er hat hochwertige Produkte konstruiert, die dieses Know-How nutzen. Man kann im Einzelnen durchaus fragen, ob das jetzt alles gute Tests sind - wir wissen, dass z.B. die Lenkerprüfung viel zu hart ist, und wir finden, dass die Stoßprüfung von Felgen unter diesem speziellen Winkel deutliche Schwächen hat - aber Syntace hat investiert, ist methodisch vorgegangen, hat sorgfältig getestet und überdurchschnittlich zuverlässige und gute Produkte erfolgreich verkauft. Respekt.
Die armen Redakteure der BIKE (wie auch ihr Schwestermagazin TOUR) dagegen müssen einer deutschen Leserschaft Zahlen, Daten, Fakten liefern. Da reicht es nicht, wie es in anderen Teilen der Welt üblich ist, einen Fahrbericht zu schreiben, nein, der deutsche Leser kauft das Produkt, dass 77 ibE bringt, und nicht das Produkt mit 75 ibE (ibE steht hier für irgendeine beliebige Einheit). Das führt manchmal zu grotesken Blüten - wenn z.B. eine Steifigkeit bewertet wird, ohne dass es irgendeine wissenschaftliche Grundlage gibt, dass steifer wirklich besser ist - oder ob es nicht z.B. einen Sättigungseffekt gibt (70 ibE sind genug - warum sollten 80 ibE besser sein?). Oft wird auch jede metrologische Grundlage und Messunsicherheit ignoriert - da liegen Sieger und Verlierer von Messungen so nah zusammen, dass man eigentlich von Rauschen ausgehen muss, aber, ja, 76 ibE sind mehr als 75 ibE, und ja, die Leser wollen es offensichtlich so.
Aber wirklich hässlich wird es dann, wenn die Zeitschrift verschleiert, dass sie Prüfmethoden - die eben nicht allgemein anerkannt und eben nicht einfach nur neutral und objektiv sind - eines beliebigen Teilnehmers einsetzt, und dann andere Teilnehmer damit abwertet. Der Lenker-/Vorbautest SYNTACE DH2002.4 (siehe: https://www.bike-components.de/…/dadcb244150a714629ccfb60ac…) findet sich zum Beispiel im Multiload-Test der Bike wieder (hinter Paywall: https://www.delius-k...enkertest-16699 ) - das haben wir schon mal 2014 reklamiert und die Neuauflage 2017 mit einem Schulterzucken zur Kenntnis genommen.
Für SYNTACE ist dieses Arrangement vermutlich erfolgreich genug, dass sie ihre proprietären Tests (die früher detailliert und stolz unter der Überschrit "Test & Crash" veröffentlicht wurden) aus dem Netz genommen haben: Wenn BIKE die eigenen Tests zum offiziellen, objektiven und neutralen Test adelt - warum dann nicht die kostenlose Werbung für das eigene Produkt nutzen?
Nur macht das kein Produkt besser, es erstickt alternative (und vielleicht bessere) Ansätze, und es betrügt die Leser.

 

[Geralt_of_Rivia]

hört sich nachvollziehbar an, verifizieren kann ich es persönlich nicht, da fehlt mir viel Leseerfahrung von solchen Tests. Hat mich aber angespitzt, mich mit dem Thema zu beschäftigen.

Wer macht denn außer dieser Bike noch MTB Tests und hat eine gewisse Bekanntheit?
Ist davon was zu empfehlen (anders als diese Hersteller-Tests der Bike)?

Sind das ein paar große Portale und/oder Magazine?
Oder sind das dutzende und man verliert den Überblick wer da "gute" Tests macht?

 

[Olekk]

Es gibt glaube ich verschiedene "Learnings", die man aus dem Artikel ziehen kann.

Zuallererst muss man vermutlich grundsätzlich seine eigene Testgläubigkeit in Frage stellen und auch das Festhalten an Vergleichswerten. Das ist ein bisschen so, als würde man sagen, ein BMW 530i ist das bessere Auto als ein Mercedes E300, weil er 0,5 Sekunde eher von 0 auf 100 ist. In der Praxis vollkommen irrelevant, selbst auf dem Dragstrip könnte der Benz den Bimmer abledern, wenn der Daimler-Pilot eine halbe Sekunde eher am Gas ist.

Es wird auch sehr offensichtlich, dass es einige Magazine mit der Unabhängigkeit wohl nicht so genau nehmen. Ich persönlich lese die BIKE nicht mehr, weil mir die Parteilichkeit einfach zu platt ist. Das MOUNTAINBIKE MAGAZIN scheint mir ein wenig weniger effekthaschend und erwachsener. Ich lese auch gerne das ENDURO MAGAZIN, weil die einfach ihre persönlichen Fahreindrücke schildern, was mir mehr interpretationsspielraum lässt.

Am wichtigsten scheint mir, dass man sich selbst klar definiert, was man gerne hätte oder braucht und sich daraufhin ansieht, was der Markt anbietet.

Dass ein Laufradtest, der bei DT Swiss 1900 Rädern Instabilität suggeriert, fragwürdig ist, ist offensichtlich.

 

[anderson]

Ich habe die BIKE seit Jahren im Abo, bin aber noch nie auf die Idee gekommen, die Testergebnisse ernst zu nehmen.

 

[Deleted 129888]

Da braucht es kein Prüfinstitut, einfach mal die „Testergebnisse“ und die Anzeigen übereinanderlegen. Wer dann noch mal das Vergnügen hatte an einem Händler- und/oder Presseevent teilzunehmen sollte spätestens dann begriffen haben wie der Hase läuft.

 

[Sansibar73]

Was erlaube @Olekk ? Was erlaube Kumpel von @Olekk ? DIE bike, eines der angesehensten Fachmagazine für Bikeologie und ihre streng wissenschaftliche Herangehensweisen anzuzweifeln? Da wird doch der Delius verrückt ?

Okay, Spässle gemacht. Der Absatz

Die armen Redakteure der BIKE (wie auch ihr Schwestermagazin TOUR) dagegen müssen einer deutschen Leserschaft Zahlen, Daten, Fakten liefern. Da reicht es nicht, wie es in anderen Teilen der Welt üblich ist, einen Fahrbericht zu schreiben, nein, der deutsche Leser kauft das Produkt, dass 77 ibE bringt, und nicht das Produkt mit 75 ibE (ibE steht hier für irgendeine beliebige Einheit).

trifft den Nagel auf den Kopf. Wenn die bike “nur“ einen Fahrbericht drucken würde, wie es die MBA bspw. macht - die Schmiralia würd sich nicht verkaufen. Und nur bei 77 ibE kann ich am Wochenende beim Wiesenmarathon in Hintertupfingen antreten, mit 70 ibE, oh Gott, oh Gott, nein das ist zum Scheitern verurteilt.

So sind wir halt, wir Deutschen

 

[xrated]

Bei dem Crash Test wurde ja nur geprüft was passiert wenn die nackte Felge auf einen Gegenstand aufprallt, hat nicht unbedingt was mit der Gesamtstabilität oder allgemein mit Einsatz im Alltag zu tun ausser man fährt extrem niedrige Luftdrücke. Wenn das Alu recht weich ist und dünne Seitenwände, dann schneidet die Felge in dem Test halt schlechter ab.

 

[Sespri]

So sind wir halt, wir Deutschen

Ich denke, dass hat nichts mit Deutsch oder nicht zu tun, das sage ich als Nichtdeutscher.

Letztlich ist doch jeder Test in irgendeiner Form subjektiv. Ob jetzt Bikes, Pkw oder Gardinenstangen. Manchmal filtert man auch die Aussage raus, die man gerne für sich hören will und umgekehrt klammert man Negatives aus. Der mMn aussagekräftigste Test ist der des Konsumenten. Darum sind die ersten beiden Jahre eines neu entwickelten Produktes oft mit Kinderkrankheiten gesegnet. Die Realbedingungen eines breiten Publikums kann kein Labor bieten. Spätestens im dritten Jahr sollten diese ausgemerzt sein und dann kann das Produkt am Markt bestehen oder nicht.

Doof ist halt schon, wenn man die Testperson ist und den Griff ins Klo tätigt...

 

[cxfahrer]

Laufräder sind eins der am stärksten dem Verschleiß ausgesetzten Teile am MTB, da braucht man sich über pseudowissenschaftliche Ansätze für die "richtige" Testmethode nicht wundern.

Wie man es dreht und wendet, im Idealfall geht das beste Laufrad bei der ersten Ausfahrt kaputt. Dafür lässt sich keine Testmethode entwickeln, da kann man noch so tolle Diagramme zeigen.

Es wäre hilfreich, wenn sich solche als Test getarnten Marketingmaßnahmen auf Fakten wie verwendetes Material und Qualität der Einspeichung beschränken würden, mit einer Aussage zur Fahrbarkeit anhand eines Dauertests zB 3 Monate im adäquaten Einsatz.

Insofern ist schon die Aussage aus dem ersten Post überhaupt nicht zielführend. Wer Erbsen zählen will, soll sich an der BIKE orientieren, alle anderen fahren und erfahren.

 

[neo-bahamuth]

Ich lese die Bike gelegentlich (gibts bei und in der Stadtbücherei) und auf die Tests gebe ich auch nicht viel. Das mit den DT Swiss ist mir in der aktuellen Ausgabe auch aufgefallen, habe die ja selber am Trailbike.
Aber für Kaufentscheidungen nehme ich die nun nicht her, dafür ist mir das Punktesystem auch nicht aussagekräftig genug (und wirkt auf mich zumindest auch etwas willkürlich oder sagen wir, gesponsort).

Abgesehen davon fahre ich eh nicht gut / krass genug, um überhaupt große Unterschiede zwischen Komponenten ähnlicher Preisklassen zu bemerken.

 

[Olekk]

Abgesehen davon fahre ich eh nicht gut / krass genug, um überhaupt große Unterschiede zwischen Komponenten ähnlicher Preisklassen zu bemerken.

Das ist ja noch ein anderer Punkt - für die meisten von "uns" würden Midprice oder Lowbudget-Lösungen vermutlich reichen. Aber diese Tests suggerieren, dass das alles Schrott ist.

 

[neo-bahamuth]

Das ist ja noch ein anderer Punkt - für die meisten von "uns" würden Midprice oder Lowbudget-Lösungen vermutlich reichen. Aber diese Tests suggerieren, dass das alles Schrott ist.

Mich nervt hauptsächlich, dass die Tests erst bei Rädern ab so 4000€ anfangen. Ich habe bisher aber max. 3000€ fürn Rad gezahlt. Zuletzt fürn Occam H20 Eagle. Würden die öfters in Tests sein müsste man nicht überall nach dem Gewicht suchen zB. Letzen Endes konnte ich es wiegen als ich es hatte und hab das Gewicht hier in den Occam Thread gepostet. In der Bike hätte ich die info nie bekommen.

 

[Toolkid]

Das einzige interessante in der Bikebravo ist die Kolumne von Henry Lesewitz (?).

 

[anderson]

Mich nervt hauptsächlich, dass die Tests erst bei Rädern ab so 4000€ anfangen. Ich habe bisher aber max. 3000€ fürn Rad gezahlt.

Der Titel des aktuellen Heftes ist übrigens "Von Hardtail bis Enduro Preisknaller von 800-2600 Euro" und in der Ausgabe 06.20 ist der Haupttest Trailbikes unter 3000 Euro ?

Im Editorial der aktuellen Ausgabe schreibt Henri Lesewitz interessanterweise über "Klare Linien", die Notwendigkeit von klarer Trennung zwischen redaktionellem Teil und Werbung. Kann man glauben oder es lassen. Henri ist mir symphatisch und deshalb will ichs mal glauben. Dass die Testsieger gleichzeitig die besten Werbepartner sind kann ich allerdings nicht nachvollziehen. Den Traibiketest aus 07.20 gewinnt Nicolai und ich kann mich nicht erinnern, überhaupt mal eine Anzeige von denen gesehen zu haben. Unter den besten 3 Bikes des letzten Enduro-Tests hatte nur der Drittplatzierte überhaupt Werbung im Heft. Im Allmountain Test 05.20 gewinnen Propain und Orbea ohne Werbung im Heft.

Versteht mich nicht falsch, ich kann das verstehen, dass man das Heft nicht mag und nicht kauft, ich kann aber die pauschale Aussage "Alle korrupt!" nicht nachvollziehen. Und letztlich ist ja die Beratung von den Usern hier im Forum vermutlich viel subjektiver.

 

[f_t_l]

für die meisten von "uns" würden Midprice oder Lowbudget-Lösungen vermutlich reichen. Aber diese Tests suggerieren, dass das alles Schrott ist.

Dafür gibt es ja zum Glück Foren wie dieses Auch wenn hier einige High-End-Gläubige auf ihrer Mission sind, bekommt man doch genug Infos über Brot- und Butterkomponenten um ein vernünftiges Rad zu fahren, aufzurüsten oder auzubauen. Die Quote an "gekauften" User-Reviews ist hier im Forum recht gering, aber man sollte trotzdem in der Lage sein zwischen den Zeilen zu lesen (Geblendet durch Vorfreude, Frust durch Falschbedienung/installation, falscher Einsatzbereich, Drumherumärger, der nicht mit dem Produkt an sich zu tun hat etc.).

 

[neo-bahamuth]

Der Titel des aktuellen Heftes ist übrigens "Von Hardtail bis Enduro Preisknaller von 800-2600 Euro" und in der Ausgabe 06.20 ist der Haupttest Trailbikes unter 3000 Euro ?

Na dann muss ich wohl in der Bücherei vorbei schauen

 

[kindi1972]

Also in meiner bike Ausgabe haben die DT Swiss M 1900 den Preis/Leistungs-Tipp bekommen. Als Schrott würde ich das nicht bezeichnen und das Fazit der bike liest sich auch nicht so.
Verwundert war ich eher bei diesem Test, dass keine Newmen Laufräder vertreten waren. Wenn man mal so etwas quer liest in diesem Forum, sind die Newmen Laufräder ja schon recht beliebt. So gesehen finde ich eher die Auswahl der teilnehmenden Hersteller (e13, Crankbrothers) fragwürdig.

Bzgl. nur Highend Tests in der bike: in der aktuellen Ausgabe ist ein Schaltungsvergleich von der neuen Sram GX mit Shimano XT und SLX. Auch die neue Deore wurde in einer der letzten Ausgaben vorgestellt.

Ich persönlich finde die Tests in den Zeitschriften schon unabhängiger als wenn hier im Forum einer seine teuer gekauften Laufräder lobt. Bzw. die Laufräder mangels Erfahrung gar nicht mit anderen vergleichen kann.

Ich habe mir im Winter für mein Gravel-Bike die DT Swiss E1800 geholt. Preissegment wie die M1900 und auch mit den 370er Naben. Ich finde die Laufräder super. Steif, relativ leicht, perfekter Aufbau, günstig. Ich kann aber nicht einschätzen wie gut diese Laufräder im Vergleich zu anderen sind.

 

[PepponeBottazzi]

Das ist ja noch ein anderer Punkt - für die meisten von "uns" würden Midprice oder Lowbudget-Lösungen vermutlich reichen. Aber diese Tests suggerieren, dass das alles Schrott ist.

Absolut korrekt, aber bekomm das mal wieder in die Schädel der Konsumenten rein. Da haben die Industrie und ihre Helferlein Milliarden für ausgegeben und investiert, damit genau das nicht passiert.

 

[anderson]

Absolut korrekt, aber bekomm das mal wieder in die Schädel der Konsumenten rein. Da haben die Industrie und ihre Helferlein Milliarden für ausgegeben und investiert, damit genau das nicht passiert.

Zumindest in der Bike gibt es immer einen Preis-Leistungs-Tipp und häufig werden bei Tests teurer Bikes auf einer extra-Seite die günstigeren Varianten der Räder gezeigt.

Ich hatte die Bike mal daraufhin angeschrieben, dass mir zu viele Tests von highend Produkten im Heft vorkommen. Es wurde mir ungefähr geantwortet, dass es viele Leser wohl interessieren würde, was alles möglich wäre ... Gibts ja hier im Forum auch. Unter dem Feld, in das ich gerade Schreibe steht "Auch interessant" und dann eine Intend Hero, die Trickstuff Maxima und das Yeti ARC Anniversary-Edition. Ich muss und will das alles nicht kaufen, finde es aber interessant, dass es sowas gibt.

Was ich mich bei der Bike aber (wie kindi1972) häufig frage ist, wie sie zur Bestückung ihres Testfeldes kommen. Da sind manchmal ziemliche Exoten dabei und die Marktführer fehlen (bei den Laufrädern eben Newman).