Systematischer Fehler bei Blindtests?

@ DerHilt

Danke für den Link zum Bericht des Herrn Skoff.

Meine Empfehlung:
Ärgere Dich hier nicht mir rd. zwei handvoll Usern, die partout keinen Unterschied hören.
Das ist OK.

Wer in einen Hörtest hereingeht, egal ob "open", "blind" oder "double-blind" geht das Risiko ein, das zu hören, was er hören will.

Will ich Unterschiede hören, ist meine Chance sie zu hören sofort größer.
Nennt sich auch "selbsterfüllende Prophezeihung".

Genau das gibt es auch in der umgekehrten Variante:
Will ich KEINE Unterschiede hören, ist meine Chance sie NICHT zu hören sofort größer.
Nennt sich auch "selbsterfüllende Prophezeihung" - denn warum sollte dieses Phänomen eine "Einbahnstraße" sein?

Meine bisherigen Erfahrungen sagen, dass User die hier jedwede Klangunterschiede zwischen Amps oder SACD/CD-Playern verneinen, diese nicht hören wollen.
Das kann verschiedene Gründe haben, vielleicht auch unbewußt/unterbewußt, weil man es sich den teureren Amp oder Player nicht leisten kann, nicht leisten darf, nicht leisten möchte....
Alles legitim.

Wobei teurer nun wirklich nicht immer besser bedeutet, das sei nur der Klarstellung angemerkt.
Und ja, auch hier sei -nur der Klarheit halber vermerkt- dass die akustische Güte des Hörraumes sowie die Boxen und deren Position im Raum deutlich vor Unterschieden bei Amps und Playern kommen.

Aber OK:
Im OLED-TV und im QLED-TV Bereich dieses Forums wird über winzigste Nuancen der Bildqualität gerungen, gefeilscht und gestritten.
Teilweise Dinge, die man mit Film/Video gar nicht wahrnimmt, sondern nur mit speziellen Testpattern.
Diese Unterschiede gibt es nur beim Bild, nicht beim Ton.
Klaro! Der Mensch scheint besser sehen als hören zu können?
Oder:
Ein TOP-OLED kostet in 65" noch erschwingliche ca. 1.700 EUR (ein QLED etwas weniger). Das können sich viele leisten oder bekommen die "Freigabe" dafür. Dann kann, darf und muss es ja auch Unterschiede geben...

Ein Dacia Sandero fährt geradeaus, rückwärts, links und rechts - und ist -das ist ja common sense- ansonsten so gut wie ein Audi S6 oder die Mercedes E-Klasse (abgesehen von Optik & Haptik, das zumindest wird das sogar hier eingeräumt).

Mein nächster Dienstwagen wird trotzdem kein Dacia Sandero, sondern ein Audi S6.

Schönen Abend,
Alexander

Alexander - hast du verstanden, warum man Blindtest macht und vor allem wie?

Seit Jahrzehnten.
Das Thema ist mir wohlbekannt, sei versichert.

Bekannt bedeutet anscheinend nicht verstanden, denn gerade bei richtig durchgeführten Blindtesten schaltet man deine Punkte nahezu aus.

Werter Ingo,

lass diese Unterstellung.

Ich habe meinen Punkt klar gestellt.

Wenn du das anders siehst ist das für mich OK.

Mit meinen div. HiFi-Anlagen bin ich sehr zufrieden, mit meinem Heimkino ebenso.
Wäre das anstatt mit einem 300 EUR Vollverstärker klanglich genau so gut möglich, hätte ich 4 davon hier anstelle von WBE Audio bzw. McIntosh.

Dann bestellte ich auch den Dacia Sandero.

So long,
Alexander

Das ist ja Ok. Nur erzähl dann keine Märchen über Blindteste

Dann erzähl du keine Märchen über "alles klingt gleich"....

Grobe Fehler bei der Auswertung von Tests sind die Überschätzung der Anzahl der Probanden und die Unterschätzung des Zufalls. "Wenn auch nur ein einziger Tester dies und das ... dann folgt daraus" - nein dann folgt nichts daraus.
Wenn es nur einen einzigen Menschen gibt, der den Unterschied zwischen dem Standardverstärker A und dem Superverstärker B unter ganz bestimmten Bedingungen mehrfach erkennt - lohnt sich die Konstruktion eines solchen Geräts dann? Könnte nicht jeder dieser eine sein ?

Nein ein Kabel ist kein Gerät.

Gruß
Rainer

Toni_Tiefbass (Beitrag #50) schrieb:

... Gerade beim Thema Kabel ist ja die These verbreitet, dass es unmöglich sei, Klangunterschiede zu erhöhren, da ausgeschlossen werden könne, dass selbst mögliche messtechnisch ermittelte Unterschiede definitiv hörbar seien. Um diese Aussage mit einem praktischen Test zu versuchen zu falsifizieren würde es reichen, wenn nur eine einzige Testperson in der Lage wäre unter Blindtestbedingungen eine reproduzierbare, signifikant höhere Trefferquote als 50% zu erzielen. ...

Hi Toni,
um Zufall/Raten auszuschließen braucht es (wegen Statistik) weit höhere Trefferquoten als 70%.
Mit einer wenn auch sehr geringen Wahrscheinlichkeit, kann ich auch bei 10 mal Münze werfen, 10 mal Zahl werfen.
Näheres dazu müsste dir aber ein Mathematiker erklären.

Klaus

trilos (Beitrag #58) schrieb:

Dann erzähl du keine Märchen über "alles klingt gleich"....

Das tue ich nicht, hier geht es um Blindteste, wie die durchgeführt werden, warum und was sie aufzeigen 🤦

ingo74 (Beitrag #61) schrieb:

... Das tue ich nicht, hier geht es um Blindteste, wie die durchgeführt werden, warum und was sie aufzeigen 🤦

Nein, hier sollte es um den mE berechtigten Einwand von Toni gehen, der behandelt ausschließlich die Auswertung der erhobenen Daten.
Sämtliche anderen Aspekte mögen interessante Fragen beinhalten, gehen jedoch am Thema vorbei.

... insoweit:

Moin Toni,

falls du gerade keinen Mathematiker zur Hand hast, könntest du auch bei wikipedia nachschlagen, um einen ersten Überblick zu bekommen (wobei ich befürchte, dass man einen Mathematiker zur Hand haben muss, um das alles zu verstehen).

Klaus

kölsche_jung (Beitrag #62) schrieb:

ingo74 (Beitrag #61) schrieb: ... Das tue ich nicht, hier geht es um Blindteste, wie die durchgeführt werden, warum und was sie aufzeigen 🤦 Nein, hier sollte es um den mE berechtigten Einwand von Toni gehen, der behandelt ausschließlich die Auswertung der erhobenen Daten. Sämtliche anderen Aspekte mögen interessante Fragen beinhalten, gehen jedoch am Thema vorbei.

Nein, Post 1 behandelt weitaus mehr aus ausschließlich die Auswertung.

Toni_Tiefbass (Beitrag #50) schrieb:

...Aussagen wie z.B.: net-explorer (Beitrag #12) schrieb: Ich bezweifle eine möglicherweise berechtigte Anzweiflung von Blindtests! ...... Ich halte den Versuch, Goldohren Legitimität zu verschaffen, absolut nicht für sinnvoll. legen jedoch leider eher nahe, dass hier einige unterwegs sind, die einen Blindtest nicht näher hinterfragen wollen, sofern er das gewünschte Ergebnis (nämlich offenbar statistische Beliebigkeit) liefert, da das Ergebnis ja eigentlich schon vorher bekannt war. Stattdessen wird dem neutralen Hinterfragen eine bestimmte Haltung unterstellt. Ganz deutliche Ansage: Ich möchte ausdrücklich nichts mit irgendeinem Gesinnungskonflikt zu tun haben und ich würde mich sehr freuen, wenn wir das Thema hier raushalten könnten.

Nach allem, was ich bis zu meiner Stellungnahme von dir gelesen habe, lag für mich sehr nahe, dass es hier um die "wissenschaftliche Demontage" der Blindtests geht. Denn genau so, wie man denen, die glauben, Gras wachsen zu hören, selbstverständlich unterstellen kann, dies sei Blödsinn, kann man nach heutzutage hochmoderner Manier auch umgekehrt die Simplizität eines Blindtests gemäß deiner Argumentation anzweifeln.

Dabei wird in beiden Fällen geflissentlich übersehen, wie ungenau und extrem beeinflussbar das menschliche Hören ist.
Im Prinzip kann man zur Prüfung eines akustischen Ereignisses logisch nur durch Verblindung herangehen.
Selbst dann können noch andere Einflüsse auf die Wahrnehmung wirken.
Allerdings nicht mehr die Erkenntnis der eingesetzten Mittel zur Musikreproduktion!

Was ich persönlich vom Prinzip eines Blindtests halten sollte, habe ich vor langer Zeit bereits mit mir ausgemacht.
Und die Feststellung in meiner zitierten Aussage, war durchaus gewollt, und sollte auch so verstanden werden.

Wir haben vorher bereits festgestellt, dass auch Probandenfiltermaßnahmen, wie du sie angeführt hast, erwartungsgemäß wenig an den Ergebnissen ändern werden. Trotzdem bemühst du dich redlich, mit quasiwissenschaftlicher Betrachtung nach Schemata zu suchen, eine Hörelite zu finden, die entweder so die Blindtests ad absurdum führen könnte, oder zumindest durch die allgemeine Nichtbereitschaft, nach deinen Vorschlägen zu verfahren, das Prinzip per se zu entmachten!

Daher fällt es mir sehr schwer, an deine Neutralität zum Thema zu glauben.

Ich möchte mal wieder etwas Wasser in den Wein gießen. Ich habe ja bereits versucht darzustellen, dass zu einem erfolgreichen Versuch von der Zielsetzung bis zur Versuchsplanung, -durchführung und letztlich der Bewertung viele Einzelaktionen gehören. Selbst bei großer Sorgfalt besteht auch bei durchdachter Planung immer noch die Gefahr, dass der Versuch bewusst oder unbewusst so gesteuert wird, dass er das erwartete/gewünschte Ergebnis „befördert“.
Letztendlich schießt dann noch die Bewertung des Versuchsergebnisses weit über das eigentliche Resultat hinaus, und das nicht nur, weil gerade kein „Mathematiker“ zur Hand war, sondern weil das „Bauchgefühl“ auch sein Recht fordert.

Beispiel:
Jemand hat einen (gebrauchten) Verstärker A123 für 8000€ (neu) und einen (gebrauchten) Verstärker B456 für 300€ (neu) zur Hand und findet sie beide „gut“. Jetzt reifen einige Hypothesen in seinen Gedanken heran:
1.Alle Verstärker sind gleich.
2.Teure Verstärker sind genauso gut wie preiswerte.
3.Der A123 ist Betrug, da er nicht besser ist als der B456.
4.Der B456 ist ein einmaliges Schnäppchen, da er genauso gut ist wie der A123.
5.Wenn ich keinen Unterschied hören kann, kann keiner einen Unterschied hören.
6.Die beiden oberschlauen Besserwisser Rüdiger und Günther können die bestimmt nicht unterscheiden.

Dieser Jemand organisiert also ein Treffen bei dem er die Hypothese 6 beweist. Er freut sich und damit sind für ihn alle anderen Hypothesen 1-5 auch schon erledigt. Für mich laufen die meisten privaten Tests in diese Richtung.

Ähnliches Beispiel falscher Bewertung. ASR testet einen (gebrauchten) A123 ausführlich. Die Abschlussbewertung lautet : Ich kann diesen A123 nur empfehlen! Er meint aber nicht diesen einen, den er getestet hat, sondern alle Geräte der Fa., die die Artikelnummer A123 haben. Dies ist jedoch eine Vermutung bzw. eher eine Hoffnung, für die die Messungen keine Belege liefern.

Was ist meine Empfehlung? Die Elektrotechniker liefern ihre Leistungsparameter der Geräte. Die Psychakustiker liefern ihre Ergebnisse über die menschlichen Wahrnehmungsgrenzen. Die Physiologen liefern ihre Erkenntnisse über die Empfindlichkeit der menschlichen Sinnesorgane. Man fügt das zusammen und sieht, was ist möglich und was ist nicht möglich, bzw. was hörbar und was nicht hörbar ist. Über die Grenzgebiete kann man dann immer noch trefflich streiten, aber bitte nicht mit Wohnzimmerversuchen.

Gruß
Rainer

Das die Theorie und hier die Praxis, denn eigentlich gab es ja alles schon irgendwie einmal:
http://www.hifi-foru...5579&back=&sort=&z=1

[quote="kölsche_jung (Beitrag #60)"]
um Zufall/Raten auszuschließen braucht es (wegen Statistik) weit höhere Trefferquoten als 70%.
[/quote]

Hallo Klaus,
vielen Dank für Deinen Post. Ich glaube, wir benötigen zur Klarstellung in der Tat keinen Mathematiker , denn Du hast natürlich völlig recht damit, dass eine Trefferquote einer einzelnen Testperson von 70% noch nicht die Qualität eines Belegs dafür liefert, dass die Person nicht auch "zufällig gut geraten" haben könnte. Aus diesem Grund habe ich auch das Wort "belastbar" ergänzt. Was dadurch erreicht werden würde, dass diese Quote auch bei einer entsprechend großen Zahl von Versuchen erreicht wird. Das ist in jeder Hinsicht anspruchsvoll und aufwändig und wurde daher meines Wissens noch nicht dokumentiert. Ich vermute, dass das daran liegt, das die meisten Blindtests wohl eher aus privaten Interessengruppen heraus zustande kamen. Und die Wissenschaft (und erst recht die Wirtschaft ) bisher nur wenig incentiviert war in einen wissenschaftlich sauber durchgeführten Test zu investieren. Daher auch meine Idee, die jeweiligen "Ausreißer" aus der Mitte in einer Gruppe zusammenzufassen, die dann in weiteren Durchgängen mit gleichem Versuchsaufbau ihre evtl. vorhandene Qualifikation unter Beweis stellen müsste, damit eine ggf. tatsächlich vorhandene bessere "Erhörungsfähgikeit" nicht durch die Mehrheit der Probanden, die eher "rät" im statistischen Mittel untergeht. Dann käme man ggf. mit weniger Hörduchgängen zu einem belastbareren Ergebnis. Konsequenterweise müssten dann übrigens auch diejenigen in dieser Gruppe zusammengefasst werden die ungewöhnlich häufig "falsch" liegen (also wenn z.B. eine teurere Komponente als klanglich schlechter empfunden wird, als eine deutlich günstigere). Auch dies würde ja bei entsprechender [u]Belastbarkeit[/u] eine besondere "Hörfähigkeit" nahelegen. Dieses Versuchsergebnis fiel nämlich bei vielen Tests, die ich mir angeschaut habe unter den Tisch und wird als "falsch" gewertet.

In diesem Zusammenhang verstehe ich auch die Aussage von Dir, lieber flexiJazzfan zur "Überschätzung der Anzahl der Probanden" nicht, denn nur mit einer ausreichend hohen Zahl von Ereignissen wird eine Statistik überhaupt aussagefähig. Wahrscheinlich meinst Du mit "...und die Unterschätzung des Zufalls", dass innerhalb einer Probe von nur wenigen Ereignissen grundsätzlich alle physikalisch möglichen Varianten auftauchen können? Ja, klar ist das so. Aber das ist doch trivial, oder meinst Du etwas anderes damit?

Insgesamt sollten wir nicht vergessen, dass es bei Hörtests grundsätzlich um die Suche nach kleinsten Unterschieden geht und daher die Belastbarkeit des Ergebnisses durch eine große Anzahl von möglichen Störfaktoren (psychologische Aspekte, Framing durch den Vorführer, physiche Hörfähigkeit usw.) stets gefährdet ist. Auch wenn ein nach allen Maßgaben eines gewissenhaft ausgeführten Experiments ein Blindtest einige davon ausblenden kann, fehlt es offenbar an hinreichender statistischer Belastbarkeit. Daher neige ich zu der Vermutung, dass Blindtests wie sie bisher ausgeführt wurden, als Instrument zur [u]Verifizierung[/u] von klanglichen Unterschieden nur bedingt geeignet sind. Unstrittig ist gewiss, dass sie einen Hinweis darauf liefern, dass im Durchschnitt die meisten Tester eher raten als "erhören". Was Blindtests IMHO nicht leisten können ist, einen belastbaren Beweis dafür zu liefern, dass Klangunterschiede bestimmter Komponenten nicht existieren können.

Du vergisst, dass die meisten wahrgenommenen Unterschiede nicht im Bereich von Nuancen leiden, sondern durch die Bank weg als deutlich oder sehr deutlich beschrieben werden.
Sowas zeigt sich eben nicht in den Blindtesten, da hilft auch kein "es könnte aber sein dass..."

ingo74 (Beitrag #68) schrieb:

Du vergisst, dass die meisten wahrgenommenen Unterschiede nicht im Bereich von Nuancen leiden, sondern durch die Bank weg als deutlich oder sehr deutlich beschrieben werden. Sowas zeigt sich eben nicht in den Blindtesten, da hilft auch kein "es könnte aber sein dass..."

Doch, es sind auch objektiv Nuancen. Um z.B. einen Sonos Lautsprcher belastbar von einer B&W 801 zu unterscheiden braucht man keinen Blindtest.
Ich meine zwischen den Zeilen Deines Posts eine negative Zuschreibung ggü. einer bestimmten Gruppe von Testteilnehmern herauszulesen. Vielleicht bewerte ich das falsch - in dem Fall bitte ich, mir zu verzeihen. Andernfalls möchte ich hier nicht mit Leuten kommunizieren die ein Bashing irgendeiner Gruppe betreiben und sich damit einem neutralen und fairen Diskurs entziehen. Nimms mir also bitte nicht übel, wenn ich fürderhin auf solche Posts nicht antworten werde. Das gilt natürlich nicht nur für Dich sondern auch für alle, die in diesem Thread posten.

Eindeutiges Fazit: Bei Geräten, deren Messdaten sich im "grünen Bereich" bewegen - und das schließt mindestens 95% aller Elektronik-Produkte der bekannten und bewährten Markenhersteller mit ein - , ist es nicht möglich, irgendwelche Unterschiede zu "erhören". Bei Leistungsverstärkern ist noch die Erwähnung wichtig: "solange sie nicht im Leistungs-Grenzbereich arbeiten" (dieser Grenzbereich wird allerdings im Heimbetrieb fast nie erreicht). Bei Kabel kann man mit gutem Gewissen von 100% sprechen, denn hier gibt es nie etwas das messbar ist (schon gar nichts Relevantes). Bei sonstigem Zubehör ist es nicht besser, die Ausnahme bilden nur einige Artikel im Zusammenhang mit der analogen Schallplattenwiedergabe und eventuell noch Dämpfungselemente.

https://www.hififorum.at/node/7080

Bei allen getätigten Blindtests gibt es ja eine Tendenz...

Unverblindet,riesige Unterschiede gehört , verblindet sind sie weg...

Aber wie ich geschrieben hab,schreibe Kabelfirmen an...vielleicht haben sie in ihren Schubladen Beweise, die wissenschaftlich eindeutig sind

Hier im Forum, weil es ja eigentlich Hobby ist, sich mit Audio zu beschäftigen, wirst du wahrscheinlich nicht fündig werden.

Das hat nichts mit Bashing zu tun, sondern meine Aussage bezieht sich auf die Realität und die Aussagen dazu, die hier im Forum, bei Händlern, auf Messen etc getroffen werden.
Zeig mir doch mal die Posts, die beschreiben, dass die Verstärker, Kabel, CD-Player, Streamer, DACs etc sich in Nuancen unterscheiden, wirst du wenige zu finden, die meisten beschreiben das Gegenteil.

ingo74 (Beitrag #71) schrieb:

Das hat nichts mit Bashing zu tun, sondern meine Aussage bezieht sich auf die Realität und die Aussagen dazu, die hier im Forum, bei Händlern, auf Messen etc getroffen werden. Zeig mir doch mal die Posts, die beschreiben, dass die Verstärker, Kabel, CD-Player, Streamer, DACs etc sich in Nuancen unterscheiden, wirst du wenige zu finden, die meisten beschreiben das Gegenteil.

Nochmals: Der Blindtest dient dazu, Beeinflussungsfaktoren auszublenden, da das Vorhandensein von Klangunterschiede zwischen bestimmten Komponenten ganz offensichtlich nicht leicht zu objektivieren ist. Wenn es so wäre, gäbe es höchstens eine Auseinandersetzung zu geschmacklichen Fragen aber eben keinen Dissens, ob es überhaupt einen Unterschied gibt. Was du beschreibst, sind geschmackliche Einschätzungen. Entscheidend für einen auswertbaren Hörtest, ist aber nicht, wie der Proband empfindet sondern nur wo er sein "Kreuzchen" (Unterschied gehört: Ja/Nein) macht.

Dann frage ich mal anders - was ist deine Intention, dein Ziel?
Mir scheint, du versuchst mit einer akademischen These, die in der Praxis keine Bedeutung hat, Blindteste zu diskreditieren - stimmts?

ingo74 (Beitrag #73) schrieb:

Dann frage ich mal anders - was ist deine Intention, dein Ziel? Mir scheint, du versuchst mit einer akademischen These, die in der Praxis keine Bedeutung hat, Blindteste zu diskreditieren - stimmts?

Denke ich auch

Aber hier:

INSTRUMENTELLE BEWERTUNG DER AUDIOQUALITÄT Wegweisende Metriken modellieren die menschliche Wahrnehmung: Wir beurteilen nicht Ihren Musikgeschmack, sondern die Audioqualität Ihrer Geräte Die menschliche Wahrnehmung ist der Maßstab für die Beurteilung der Audioqualität. MDAQS von HEAD acoustics ist eine Option für die ACQUA-Testsoftware und nutzt binaurale Aufnahmen, um die menschliche Wahrnehmung in der instrumentellen Bewertung der Audioqualität zu modellieren.

https://www.head-acoustics.com/de/technologie-fokus/mdaqs

Man könnte ja auch mal diese Firma anschreiben, was sie für Erfahrungen mit Auswertungen mit Blindteste haben?

ingo74 (Beitrag #73) schrieb:

Dann frage ich mal anders - was ist deine Intention, dein Ziel? Mir scheint, du versuchst mit einer akademischen These, die in der Praxis keine Bedeutung hat, Blindteste zu diskreditieren - stimmts?

Was bezweckst Du mit dem Wort "akademisch" und welche "Praxis" soll konkret gemeint sein? Wieso unterstellst Du dass eine neutral formulierte Kritik an einem Testverfahren, das dazu dienen soll die Grundlage für eine objektivierbaren Diskurs zu schaffen, eine "Diskreditierung" sein soll? Mit diesem Wort sind unwürdige Maßnahmen wie Verleumdung, Verbreiten von Gerüchten und Lügen verbunden. All das gab es bei keinem meiner Post und wird es auch nicht geben. Ich habe nicht den Eindruck, dass Du mit solchen Unterstellungen diesen Thread inhaltlich voranbringst. Sorry, dass ich das schreiben muss aber hast Dich schon im Nachbarthread nicht gerade mit messerscharfer Logik und präziser Wortwahl hervorgetan. Daher werde zumindest ich zukünftig nicht mehr auf Deine Posts eingehen.

Mit keinem Wort hast du die Frage nach deiner Intention und deinem Ziel beantwortet, allein das lässt tief blicken und zeigt, dass du versuchst, Blindteste zu diskreditieren.
Und das du die persönliche Karte ziehst, bestärkt das noch mehr.

Also kurz geschrieben - du versuchst krampfhaft etwas zu erfinden, was in der Realität keinerlei Bedeutung hat.

Toni_Tiefbass (Beitrag #67) schrieb:

kölsche_jung (Beitrag #60) schrieb: um Zufall/Raten auszuschließen braucht es (wegen Statistik) weit höhere Trefferquoten als 70%. Hallo Klaus, vielen Dank für Deinen Post. Ich glaube, wir benötigen zur Klarstellung in der Tat keinen Mathematiker , denn Du hast natürlich völlig recht damit, dass eine Trefferquote einer einzelnen Testperson von 70% noch nicht die Qualität eines Belegs dafür liefert, dass die Person nicht auch "zufällig gut geraten" haben könnte. Aus diesem Grund habe ich auch das Wort "belastbar" ergänzt. Was dadurch erreicht werden würde, dass diese Quote auch bei einer entsprechend großen Zahl von Versuchen erreicht wird.

Nene .. du verstehst das falsch.
Wenn eine Person im BT bei 70% landet, sieht die Mathematik (nicht irgendein Holzohr) diese 70% als "Zufall", bzw Hypothese nicht erreicht an.
Wenn 100 Leute in 100 Tests (jeweils ein jeder für sich) bei 70% landen, sieht die Mathematik dies immer noch als Zufall an ...eben 100 mal.
Ausreichend, sich Gedanken zu machen, wäre es alleine schon wenn eine Person in einem einzigen Test 20/20 hätte ... und das in einem 2ten Test wegen "Belastbarkeit bzw. Reproduzierbarkeit" wiederholt.
... und das ganze gilt natürlich auch nur für Geräte, die keine deutlich messbaren Fehler aufweisen ... David hat ja in einem der Wiener BTs einen Verstärker an seinem Balancefehler erkannt.
Wenn zB jemand im BT 2 Strippen an seinem Technics-Dreher vorzugsweise mit kapazitätskritischem AT-System auseinanderhalten kann, die eine Strippe mit niedriger Kapazität und die andere mit hoher, hat das zB gar nichts mit Kabelklang zu tun ...

... Was Blindtests IMHO nicht leisten können ist, einen belastbaren Beweis dafür zu liefern, dass Klangunterschiede bestimmter Komponenten nicht existieren können.

Nichtexistenz ist grundsätzlich unbeweisbar.

ingo74 (Beitrag #71) schrieb:

... Zeig mir doch mal die Posts, die beschreiben, dass die Verstärker, Kabel, CD-Player, Streamer, DACs etc sich in Nuancen unterscheiden, wirst du wenige zu finden, die meisten beschreiben das Gegenteil.

Da muss ich Ingo zustimmen ... ich liebe die Geschichten von der Frau, die aus der Küche gelaufen kommt, weil sie die "gewaltigen Unterschiede" selbst da problemlos hören konnte ...

k

Was natürlich auch Wichtig bei Blindtest und Studien dazu ist, wer hat sie gemacht und wer hat sie bewertet!

In wissenschaftlichen Fachzeitschriften werden eingereichte Forschungsbeiträge normalerweise nicht einfach publiziert, sondern durchlaufen zuvor ein Begutachtungsverfahren. Hier ist es üblich, ein Blind- bzw. Doppelblindgutachten anzuwenden. Letzteres bedeutet, dass die Autoren nicht wissen, wer die Gutachter sind, und die Gutachter nicht wissen, wer die ihnen vorgelegten Beiträge verfasst hat. Auf diese Weise soll verhindert werden, dass persönliche Präferenzen bzw. Beziehungen zwischen Autoren und Gutachtern Einfluss auf die Beurteilung der Forschungsbeiträge haben.

https://de.m.wikipedia.org/wiki/Blindstudie

Trotzdem kann man nachfragen, welche Intention der Themenersteller hat,wenn es aus seinem Beitrag nicht hervorgeht.

Ehrlich wäre,er würde schreiben, er kommt aus der Audio- Branche und braucht diese Informationen bei der Entwicklung von...und sucht nach
So einer Studie, bei denen Testpersonen überdurchschnittlich abgeschnitten hatten.

Wer in der Audio-Branche führt denn professionelle Blindtests durch?
Das machen doch alles nur Hobbyisten, die Spaß daran haben...

Da hast du recht

ingo74 (Beitrag #73) schrieb:

Mir scheint, du versuchst mit einer akademischen These, die in der Praxis keine Bedeutung hat, Blindteste zu diskreditieren - stimmts?

jandus (Beitrag #78) schrieb:

... welche Intention der Themenersteller hat,wenn es aus seinem Beitrag nicht hervorgeht.

Meine Rede, wobei er es sich komplett erspart hat, auf meinen deutlichen Beitrag einzugehen.

Ich verstehe übrigens durchaus, dass er es nicht getan hat. Meine Vermutungen bestätigen sich faktisch immer mehr!

Um was genau geht es hier jetzt überhaupt?
Allgemein um Blindtests, oder versprichst sich der TE etwas davon zu seinem Vorteil wegen seinen Lautsprechern?

kölsche_jung (Beitrag #77) schrieb:

Wenn eine Person im BT bei 70% landet, sieht die Mathematik (nicht irgendein Holzohr) diese 70% als "Zufall", bzw Hypothese nicht erreicht an. Wenn 100 Leute in 100 Tests (jeweils ein jeder für sich) bei 70% landen, sieht die Mathematik dies immer noch als Zufall an ...eben 100 mal. Ausreichend, sich Gedanken zu machen, wäre es alleine schon wenn eine Person in einem einzigen Test 20/20 hätte ... und das in einem 2ten Test wegen "Belastbarkeit bzw. Reproduzierbarkeit" wiederholt.

Hallo Klaus,
so funktioniert das mit der Statistik leider nicht ganz. Man verwendet diese Methodik um z.B. Trends zu erkennen oder um Hinweise für das Vorliegen von Gesetzmäßigkeiten zu finden. Beweise liefern sie eher nicht, eine gewisse Unschärfe muss idR akzeptiert werden. Selbst das schärfste Schwert über das dies Wissenschaft auf diesem Sektor verfügt, die statistische Thermodynamik, liefert keine 100%ig immer gleichen Ergebnisse obwohl sie praktisch mit der Funktionalität eines Naturgesetztes angewendet werden kann. Aufgrund der irre hohen Zahl an Molekülen stellst sich aber fast immer auch der statistisch erwartete Zustand ein. Das kann man aber von daken eisten Systemen nicht verlangen. Insbesondere wenn es nun um biologische Testobjekte und vor allem menschliches Verhalten geht, muss man Abstriche machen. Ob also ausreichend Evidenz nach 10, 30 oder erst mehreren 100 Versuchen erreicht ist und was als ausreichend aktzeptiert wird, kann ich nicht beurteilen. Zeichnet sich jedenfalls bei entsprechend vielen Probenahmen eine eindeutige Tendenz ab, liefert das der Wissenschaft idR einen Hinweis, nach Gründen dafür zu suchen und entsprechende Erklärungsmodelle zu entwickeln.

Was Du als also als "Gedanken machen" bezeichnet ist das, was ich bei dem Thema interessant finde: Also wieviel Evidenz benötigt ein Hörtest, um alle Stakeholder davon zu überzeugen, dass ein ermittelter Trend auch akzeptiert wird? Und das meine ich in beide Richtungen also ist da ein Unterschied oder eben nicht zu hören. Ich finde es spanend, in diese Richtung weiter nachzudenken und dazu gehört m.E. erstmal, die wesentlichen vorgenannten Schwachpunkte anzugehen.
Beste Grüße
Toni

P.S.
Das Hinterfragen eines Sachverhalts ist eine wichtige menschliche Eigenschaft und die Basis der Naturwissenschaften. Motivation sollte stets gesunde menschliche Neugierde und Interesse am Dazulernen sein. Wenn aber bereits das Hinterfragen als Beweis für eine verkappte sinistre Absicht unterstellt wird, ist der Diskurs tot und die Polarisierungsaktivisten haben wieder mal gewonnen. Merke: Gute Gesellschaften sind solche, die nicht an jeder Ecke Feinde aufspüren müssen.

Toni_Tiefbass (Beitrag #1) schrieb:

Die einzige Aussage, die sich m.E. aus solchen Tests ableiten ließe wäre, dass die gewählte Testgruppe mehr oder weniger zufällig getippt hat. Bei einer ausreichend großen Zahl an Tests und Probanden (das wahr eher nicht die Regel in den von mir gefunden Tests) ließe sich mit einiger Sicherheit die verallgemeinerte Aussage ableiten, dass für Hörer im Durchschnitt kein Klangunterschied zwischen den getesteten Komponenten wahrnehmbar ist. Alle von mir unter den Vorgaben eines Blindtest gefundenen Tests kommen dabei praktisch ausschließlich zu dieser Aussage.

https://www.hififorum.at/node/7080

Der Beweis, dass diese Art zu testen auch "funktionieren kann" wurde immer wieder erbracht, denn es gab sehr wohl hohe bis eindeutige Trefferquoten, aber eben immer nur dann, wenn es ebenso eindeutige und vor allem auch "Relevante" messtechnische Unterschiede gab. Den Fall "kein messbarer Unterschied aber trotzdem hörbar" gab es nie. Dass es so etwas geben soll wird ja ab und zu behauptet oder zumindest angenommen. Logik gibt es keine dazu. Wer annimmt, dass zur "Erhörung" kleine Unterschiede ausreichen, oder gar welche, die sich außerhalb des menschlichen Hörspektrums befinden, den muss ich ebenfalls enttäuschen.

Nachtrag:

Das mit den Schwachpunkten in einem von David Messinger oder anderen getätigten Blindtest, wurden doch schon mehrfach diskutiert...
Bevor es wieder nur um Befindlichkeiten und gegenseitige Vorwürfe geht,lies dich hier ein http://www.hifi-forum.de/archiv/f18-2002.html

Das mit der Gegenprobe, wenn etwas erhört wurde,dass man natürlich auch das Objekt des Tests auch messtechnisch untersuchen sollte, sollte man
Natürlich auch mit einbeziehen.

Toni_Tiefbass (Beitrag #83) schrieb:

Ob also ausreichend Evidenz nach 10, 30 oder erst mehreren 100 Versuchen erreicht ist und was als ausreichend aktzeptiert wird, kann ich nicht beurteilen.

Gibs zu, du versuchst hier (mal wieder) alle zu veräppeln
HiFi ist ein Hobby, diese Blindteste führen keine Unternehmen und Universitäten durch, sondern Interessierte in ihrer Freizeit.

Davon ab - was genau ist nun deine Intention und dein Ziel?

Man kann Hörtests machen: um mit seinem Team den Stand einer Entwicklung (eines Audiogeräts) zu überprüfen, um von geschulten Experten den (messtechnischen) Unterschied von Geräten auf klangliche Relevanz überprüfen zu lassen, um die Reaktion von Konsumentengruppen auf ein neues Produkt abzufragen, um die Behauptungen eines Bekannten zu widerlegen und ihn selbst „vorzuführen“ … . Jedes dieser Ziele erfordert eine besondere Versuchssituation.

Wenn man Aussagen über die Grenzen der menschlichen Hörfähigkeit machen will oder die Normalleistung der menschlichen Wahrnehmung beschreiben will, darf man auf keinen Fall „Ausreißer“ aus den Testergebnissen entfernen oder die Ergebnisse bestimmter Probandengruppen mit Faktoren multiplizieren. Das sind dann systematische Fehler.

Bei der Bewertung von Geräten halte ich persönlich eine offene Diskussion der Eindrücke unter fachlich interessierten Probanden für zielführender als eine schlecht organisierte Doppelblindprüfung.

Allerdings Kabel sind keine Geräte.

Gruß
Rainer

flexiJazzfan (Beitrag #86) schrieb:

Man kann Hörtests machen: um mit seinem Team den Stand einer Entwicklung (eines Audiogeräts) zu überprüfen, um von geschulten Experten den (messtechnischen) Unterschied von Geräten auf klangliche Relevanz überprüfen zu lassen, um die Reaktion von Konsumentengruppen auf ein neues Produkt abzufragen, um die Behauptungen eines Bekannten zu widerlegen und ihn selbst „vorzuführen“ … . Jedes dieser Ziele erfordert eine besondere Versuchssituation. Verstehe ich nicht: Man kann (darf?) doch so viele Hörtests zu so vielen Gelegenheiten machen wie man will. Wer sollte das aus welchem Grund einschränken wollen? Wenn man Aussagen über die Grenzen der menschlichen Hörfähigkeit machen will oder die Normalleistung der menschlichen Wahrnehmung beschreiben will, darf man auf keinen Fall „Ausreißer“ aus den Testergebnissen entfernen oder die Ergebnisse bestimmter Probandengruppen mit Faktoren multiplizieren. Das sind dann systematische Fehler.

Verstehe ich auch nicht: Wo wurde denn vorgeschlagen "Ausreißer zu entfernen"? Im Gegenteil ich habe dafür plädiert, Ausreißer genauer zu untersuchen. Wer will was womit multiplizieren?

Bei der Bewertung von Geräten halte ich persönlich eine offene Diskussion der Eindrücke unter fachlich interessierten Probanden für zielführender als eine schlecht organisierte Doppelblindprüfung.

Finde ich auch prima und unterhaltsam. Allerdings ruft eine offene Diskussion über Klangeindrücke recht schnell wieder jede Menge Kritiker auf den Plan. Und eine schlecht organisierter Versuch kann wohl in keinem Fall nutzbringend sein, oder?

Allerdings Kabel sind keine Geräte.

Das schriebst Du bereits. Und was bedeutet das? Können/dürfen nur Geräte einem Hörtest unterzogen werden?

Was ist denn nun deinen Intention und dein Ziel Toni?
Kannst du das formulieren oder nicht?!

Wahrscheinlich überfordern meine überlangen Posts die Konzentrationsbereitschaft oder -vielleicht auch -fähigkeit einiger Leser daher nochmal zu meiner Ausgangsfrage aus #83

" .. wieviel Evidenz benötigt ein Hörtest, um alle Stakeholder davon zu überzeugen, dass ein ermittelter Trend auch akzeptiert wird? Und das meine ich in beide Richtungen also ist da ein Unterschied oder eben nicht zu hören. Ich finde es spanend, in diese Richtung weiter nachzudenken und dazu gehört m.E. erstmal, die wesentlichen vorgenannten Schwachpunkte anzugehen."

Du bist echt witzig

Eine "über-alle-Betrachtung" lehnst du - mE berechtigterweise - ab, aber du willst die besten "Rate-Ergebnisse" auswählen und zusammenfassen, um einen "Trend" zu erkennen ...

Den Fehler siehst du bei neutraler Betrachtung ganz sicher selbst

kölsche_jung (Beitrag #90) schrieb:

..., aber du willst die besten "Rate-Ergebnisse" auswählen und zusammenfassen, um einen "Trend" zu erkennen ..

Wurde mehrfach postuliert, halte ich für einen extrem fragwürdigen Ansatz, mit Schieflage bei der angestrebten Objektivität!
Höchst interessant ist dazu die Definition der zugrundeliegenden wissenschaftlichen Herangehensweise.

Im Übrigen ist die Feststellung bereits ziemlich alt, dass Blindtests bisher nie belegen konnten, dass hörbar ist, was nicht gemessen werden konnte.
Musikhören ist halt Geschmacksache, und dieser kann nicht ermessen werden!

Stakeholder

Der Fehler fängt schon früh(er) an - Blindteste machen doch nicht die Unternehmen und auch die Händler bis auf einzelne Ausnahmen nicht, sondern die Nutzer, dh die Hobbyisten. Und die Fragestellung ist da auch eine andere - man hört Unterschiede und möchte herausfinden, ob diese real sind. Meistens glaubt man den Messungen dazu nicht und deswegen führt man einen Vergleich durch, der die Stör- und Einflussvariablen auf die Wahrnehmung herausnimmt und so hört, ob es tatsächlich den Unterschied gibt, den man unverblindet wahrnimmt.
Bestenfalls begleitet man das dann mit Messungen, die das dann aufzeigen/unterfüttern wie zB der legendäre Hörtest am Tulpensonntag von Bampa: http://www.hifi-foru...15579&postID=169#169

Deswegen ist es völlig egal, ob man durch extreme Selektion das absolute Goldohr findet, der Flöhe husten hört, denn das geht am Problem und der Realität völlig vorbei! Die Realität ist, dass zwei Geräte, die das Signal nicht (im hörbaren Bereich) verfälschen, unverblindet (deutlich) unterschiedlich für reale Hörer klingen, verblindet diese Unterschiede jedoch nicht mehr wahrgenommen werden. Dafür ist es völlig egal, ob es irgendwo einen Superhörer gibt.

Hallo Klaus,

Du bist echt witzig

Vielen Dank, das von einer echten Kölner Frohnatur bestätigt zu bekommen adelt mich natürlich.

...du willst die besten "Rate-Ergebnisse" auswählen und zusammenfassen, um einen "Trend" zu erkennen ... Den Fehler siehst du bei neutraler Betrachtung ganz sicher selbst

Ich fürchte ich drücke mich zu kompliziert aus. Du hast mich leider nicht richtig verstanden. Was soll den das Zusammenfassen von bestimmten Ergebnissen für eine neue Aussage liefern? Ich schlug vor, diejenigen Testpersonen, die durch bessere Trefferquoten auffallen, innerhalb einer dezidierten Testgruppe aus solchen Kanditaten, unter den gleichen Maßgaben, weiteren Tests zu unterziehen, um den "Verdünnungseffekt" durch die eindeutig ratenden Testpersonen zu reduzieren. Du kannst Dir das wie das Aufkonzentrieren einer Lösung vorstellen. Dann müsste sich deutlicher und nach weniger Testrunden zeigen ob sich diese Personen ggü. der ursprünglichen Vergleichsgruppe tatsächlich einer besseren Hörfähigkeit erfreuen oder eben nicht.
Gr.
Toni

edit kölsche_Jung: HF-Code gefixt

Und was genau soll diese Selektion bewirken/bringen?

Hi Toni,

dein Weg führt dich nur völlig in die Irre.

Mal ein Beispiel für deine Tendenz: (solche Wahrscheinlichkeits- und Zufallsberechnungen müssen ja für jede A/B-Erkennung gelten ...)

Du fragst dich ob ein Würfel nur gerade Zahlen würfelt, also nimmst du einen und würfelst 10 mal hintereinander und notierst die Anzahl der geraden Würfe. Du wirst iaR irgendwo im Zufälligkeitsbereich landen (es ei denn, der Würfel ist "gezinkt")
Das wiederholst du jetzt 100 mal (also 100 mal je 10 Würfe).
Dann suchst du dir die 5 Ergebnisse mit den meisten "gerade-Würfen" heraus (dürfte sich im Bereich 8/10 oder 9/10, mit geringer Wahrscheinlichkeit - kann ein Mathematiker berechnen - sogar 10/10 abspielen)
... und erhälst somit durch deine Auswahl die (lediglich) "Tendenz", mit diesem Würfel würfelt man gerade Zahlen.

Diese Tendenz bestätigt allerdings nicht die Ursprungsfrage, sondern lediglich, dass du erfolgreich selektiert hast.

Du machst also im Grunde nichts anderes als eine "Über-alles-Betrachtung", allerdings ohne die (weit überwiegenden) Einzelergebnisse, die nicht in die Agenda passen.
Insoweit ist deine "nur-die-guten-Ergebnisse-Betrachtung" mindestens genauso verfälschend wie die (von dir zurecht bemängelte) "über-alles-Betrachtung".

ingo74 (Beitrag #94) schrieb:

Und was genau soll diese Selektion bewirken/bringen?

Das was jede Selektion erbringen soll ... eine These mittels einer Tendenz stützen, für die es bei objektiver Betrachtung eben gar keine Stütze gibt.

Yo, aber das ändert nichts aber auch nichts daran, dass die in der von Hörern gehörten Unterschiede so gut wie immer in Blindtesten nicht bestätigt werden und wenn, dann kann man messtechnisch nachvollziehen warum und das damit erklären.

kölsche_jung (Beitrag #95) schrieb:

Mal ein Beispiel für deine Tendenz: (solche Wahrscheinlichkeits- und Zufallsberechnungen müssen ja für jede A/B-Erkennung gelten ...) Du fragst dich ob ein Würfel nur gerade Zahlen würfelt....

Hi Klaus,
nein, so einfach ist das leider im Fall eines Hörtests nicht. Das Würfelbeispiel ist als Vergleichsbeispiel ungeeignet. Warum? Weil die Würfelhand praktisch keinen Einfluss auf die geworfene Augenzahl ausüben kann (das wurde hinlänglich bewiesen). D.h. man erhält immer ein "sauberes" Ergebnis gemäß den Regeln der Wahrscheinlichkeitsrechnung. Anders beim Hörtest: Hier wird die statistische "Normalität" mit Faktoren überlagert, z.B. mit evtl. Nachlässigkeiten im Versuchsaufbau, die eine psychologischen Einfluss auf die Probanden haben können (z.B. wenn der Proband weiss, dass gerade umgeschaltet wurde) und auch der nicht grundsätzlich auszuschließenden Fähigkeit, tatsächlich Unterschiede zu erhören. Wenn also eine vermutlich allseits akzeptierte These also lautet: Die meisten Menschen können keine Unterschiede heraushören. Dann schließt das nicht aus, dass einige Wenige das vielleicht doch können. Wenn das Ziel nun ist, diese Annahme zu belegen, muss ich versuchen, diese wenigen (z.B. durch Selektionsversuche) zu identifizieren sonst gehen sie (aus vorgenannten Gründen) immer in der Mehrheit der "Ratenden" statistisch unter. Und nochmal: Erst wenn diese Gruppe "qualifiziert" wurde, beginnt der eigentliche Hörtest nochmals. Und dann wäre ich auf das Ergebnis sehr gespannt. Ich vermute, den Aufwand hat man bisher gescheut. Wenn aber der Blindtest als einziger und finaler Prüfstein von Kritikern von hochgerüstetem Audio-Equipment und Zubehör herangezogen wird, dann muss er eben auch so durchgeführt werden, dass er wasserdicht ist. Und das sind die hier zitierten und von mir gefundenen "Wohnzimmertests" eben eher nicht.
VG
Toni

Was genau ist deine Intention und dein Ziel mit einer Fragestellung, die in der Realität keine Rolle spielt?

Toni_Tiefbass (Beitrag #97) schrieb:

Und das sind die hier zitierten und von mir gefundenen "Wohnzimmertests" eben eher nicht.

Naja ganz ausschließen, dass die verblindeten Vergleiche von David Messinger und anderen funktionieren, kann der gute Toni eben auch nicht.

Nein, es geht ihm ja höchstwahrscheinlich auch nur darum, Zweifel an Blindtesten zu säen.