Zwei Beiträge zur Interpretation von statistischen Tests: Replik auf den Artikel "Von der Wahrscheinlichkeit des Irrtums" von W. Weihe

In seinem Heft 13/2004 vom 26.3.2004 veröffentlichte das Deutsche Ärzteblatt einen Artikel mit dem Titel "Von der Wahrscheinlichkeit des Irrtums", in dem der Autor Wolfgang Weihe eine seiner Meinung nach sowohl neue als auch ungewöhnliche Position bezüglich der Interpretation von statistischen Tests im Zusammenhang mit klinischen Studien zur Erprobung neuer Behandlungsmethoden einnimmt. Er nimmt dabei eine strenge Trennung zwischen den Begriffen Signifikanz und Irrtumswahrscheinlichkeit vor und legt dar, dass das Signifikanzniveau nichts darüber aussagt, wie hoch die tatsächliche Irrtumswahrscheinlichkeit ist. "Neu" im Sinne von höchst ungewöhnlich ist vor allem die These, dass zwei weitere Aspekte in die Interpretation mit aufgenommen werden müssen: 1. Gibt es weitere Studien bezüglich der Behandlungsmethode und wenn ja, zu welchen Ergebnissen sind die gekommen? 2. Wie ist die "Qualität" des Forschers (gemessen an seinem "Riecher" bezüglich der Wirksamkeit einer neuen Behandlungsform)? Der Artikel hat eine ganze Reihe von Reaktionen in Form von Leserbriefen hervorgerufen, die zum Teil auch im Deutschen Ärzteblatt abgedruckt wurden. Die Leserbriefe sind zum Teil zustimmend, zum Teil üben sie aber auch Kritik, gehen aber auf einen entscheidenden Makel in den Überlegungen Weihes nicht ein, nämlich dass diese überwiegend schlicht falsch sind. Die Autoren des vorliegenden Diskussionspapiers haben sich daher zum Ziel gesetzt aufzuzeigen, wo die Schwächen und Fehler bei Weihe liegen und wieso man seinen Schlussfolgerungen aus Sicht der klassischen Statistik nicht folgen kann.