Blindtests

Gude!

Mir ist in letzter Zeit aufgefallen, dass das Wissen einzelner Foren-Neulinge zum Thema BTs (das Thema ist immer wieder aktuell) leider eher sehr rudimentärer Natur ist, und ich finde sogar in der Wikipedia nichts vernünftiges dazu - Deshalb wollte ich mal fragen bzw. anregen, ob man nicht einen Artikel im Hifi-Wissen-Teil des HF.de machen könnte.
Ein Problem dabei ist sicher, dass es ein interdisziplinäre Ansatz notwendig ist - Ich kann sicher nicht viel zu den physiologischen, technischen oder gar philosophischen Themen beitragen, würde mich aber gerne dazu bereit erklären, die statistischen Themen zu behandeln -- Und da fang' ich auch einfach mal an, einfaches Thema, was will ich überhaupt testen.

(Aus: Ulrich Krengel: Einführung in die Wahrscheinlichkeitstheorie und Statistik; 7. überarbeitetet Auflage August 2003; Verlag Friedr. Vieweg & Sohn/GWF Fachverlag GmbH, Wiesbaden S.92f.)

§6 Tests
Es ist ein Grundgedanke der empirischen Wissenschaften, dass die Entscheidung zwischen konkurrierenden Modellen der Realität auf Beobachtungen eines Experiments gestützt werden soll, das unter den alternativen Modellannahmen verschiedene Versuchsergebnisse erwarten lässt. Im Idealfall ist nach der Idee von Francis Bacon ein "experimentum crucis" möglich, das zu einer definitiven Entscheidung führt. Ein berühmtes Beispiel ist der michelsonsche Interferenzversuch.
Solche Experimente sind jedoch die Ausnahme. In vielen Fällen sind nur Beobachtungen möglich, die zahlreichen zufälligen Einflüssen unterliegen und keine mit absoluter Sicherheit gültigen Schlüsse erlauben. Soll etwa ein ein neues Medikament mit einem bisher gebräuchlichen Medikament verglichen werden, um zu entscheiden welches bessere Erfolgschancen bringt, so ist es selbst dann, wenn dieses Medikament bei 10 Testpersonen Heilung bewirkt, möglich, dass das Zufall ist. Wenn es keiner der 10 Personen Heilung bringt, kann auch dies Zufall sein. Man kann sich so oder so irren. Die statistische Testtheorie kann diese Irrtümer nicht vermeiden. Sie kann aber Kriterien liefern, nach denen sich die Irrtumswahrscheinlichkeiten kontrollieren lassen.
Die Grundidee statistischer Tests soll an einem Beispiel diskutiert werden, das keinerlei praktisches, wohl aber historisches Interesse beansprucht. R.A.Fischer und J.Neyman haben daran ihre unterschiedlichen Vorstellungen vom Testbegriff diskutiert.

6.1. Beispiel der "tea testing Lay"
Eine Lady behauptet, dass sie - wenn sie Tee probiert, der einen Zusatz Milch enthält - unterscheiden könne, ob zuerst die Milch oder zuerst der Tee eingegossen wurde.
Fischer schlägt in seinem Buch "Design of Experiments" (1935) den folgenden Test vor, um zu entscheiden, ob die Lady wirklich die behauptete Fähigkeit hat: Es wird in vier Tassen zuerst Tee und dann ein Zusatz Milch gegeben. Diese nenne wir vom Typ 1.In vier weitere Tassen wird zuerst etwas Milch und dann der Tee eingegossen. Diese nennen wir vom Typ 2. Es wird gut umgerührt. Der Lady werden die acht Tassen in zufälliger Reihenfolge (mit Gleichverteilung auf der Menge der 8! Permutationen) gereicht. Sie wird aufgefordert, genau vier Tassen zu benennen, die sie für die Tassen vom Typ 1 hält. Sei nun X die Zahl der von der Lady richtig klassifizierten Tassen vom Typ 1. Rät sie alle 4 Tassen vom Typ 1 korrekt, so soll damit der Beweis der Behauptung als erbracht gelten. Die Wahrscheinlichkeit, dass eine so große Trefferanzahl zufällig durch reines Raten zustandekommt, ist nach der hypergeometrischen Verteilung 1/70, so dass man nur mit dieser Wahrscheinlichkeit der Lady Recht gibt, wenn sie mit ihrer Behauptung nicht Recht hat.
Schwieriger wird das Problem, wenn die Lady behauptet, mit ihren Klassifikationen zwar nicht unfehlbar zu sein, aber doch gewisse, wenn auch undeutliche, Unterschiede gelegentlich zu bemerken, die sie in die Lage versetzen, öfter die richtige Klassifikation zu treffen, als dies dem Zufall entspricht.
Würde man nun der Lady schon recht geben, wenn sie drei der vier Tassen von Typ 1 herausfindet, so wäre immerhin die Wahrscheinlichkeit, dass dies zufällig zustande käme = (...) = 17/70. Daher wären 3 richtig klassifizierte Tassen vom Typ 1 kein sonderlich überzeugender Nachweis der Fähigkeit der Lady. Man kann in dieser Situation Irrtümer zwqar nicht völlig ausschließen, aber man möchte sich doch eine Grenze für die Irrtumswahrscheinlichkeit setzen. Z.B. sollte sie nicht größer als alpha = 0,05 sein.
[Zitat Ende]

Nachtrag:
i.) Die Rechnung (mit (4 über 3) ist der entsprechende Binomiakoeffizient gemeint):
((4 über 4)(4 über 0) + (4 über 3)(4 über 1))/(8 über 4) = 17/70.

ii.) Aus der Wikipedia:
Als experimentum crucis (lat. „Kreuzesversuch“) bezeichnet man in der Wissenschaftstheorie ein Experiment, dessen Scheitern die dem Experiment zugrunde liegende Theorie falsifiziert oder überwindet.

Gruß Kobe