Technische Veröffentlichungen mit Bezug zu RV
Betarisiken bei Eignungsprüfungen
Zusammenfassung:
Die Monte-Carlo-Methode wurde auf Studienpläne für Eignungsprüfungen (EA) angewendet, um deren Effektivität zu untersuchen. Die Wahrscheinlichkeiten, dass die berechneten z-Werte größer als 3 sind, während der tatsächliche Wert kleiner als 2 ist, und dass die berechneten z-Werte kleiner als 2 sind, während die tatsächlichen Werte größer als 3 sind, wurden für eine Reihe unterschiedlicher Situationen berechnet: Anzahl der Teilnehmer von 5 bis 30, unterschiedliche Verhältnisse von Wiederholbarkeit zu Reproduzierbarkeit und Anzahl der Testergebnisse pro Teilnehmer, Einführung oder Nicht-Einführung von Ausreißern mit z-Werten von 3,5 bis 10. Für jede Situation werden die Wahrscheinlichkeiten diskutiert, dass echte Ausreißer nicht erkannt werden und dass Fehlalarme ausgelöst werden. Es werden Ratschläge und Schlüssel zur Überprüfung und Verbesserung der Effektivität von realen EA-Programmen vorgeschlagen.
Zusammenfassung der Schlussfolgerungen :
- Das Verhältnis
- Selbst unter ungünstigen Bedingungen ist das α-Risiko immer sehr gering (weniger als 0,7 %);
- Robuste Algorithmen verbessern die Effizienz des EP-Programms (d. h. das β-Risiko) auf Kosten des α-Risikos (das immer sehr niedrig bleibt). Dies ergibt sich aus einer deutlich besseren Schätzung der Standardabweichung der Referenz, wenn ein Ausreißer unter den Teilnehmern vorhanden ist und wenn diese robusten Algorithmen verwendet werden;
- Eine Anzahl von 6 Teilnehmern ist groß genug, um einen stark abweichenden Teilnehmer zu erkennen, vorausgesetzt, dass gute EP-Bedingungen (d. h. ein niedriger Wert von λ) gegeben sind;
- EP mit einer geringen Anzahl von Teilnehmern ist (fast) immer besser als gar keine EP.
Die Referenznormen ISO 5725-2 und ISO 13528 empfehlen, keinen Ringversuch mit weniger als 12 Teilnehmern zu organisieren. Dies ist sinnvoll für ISO 5725-2, deren Ziel es ist, die Leistungsfähigkeit eines Prüfverfahrens zu bestimmen. Für die ISO 13528, deren Ziel es ist, die Leistungsfähigkeit eines Labors zu überprüfen, ist es weniger sinnvoll. Es ist offensichtlich, dass das β-Risiko 100% beträgt, wenn keine EP organisiert wird: ein Labor, das ein Problem hat, kann es überhaupt nicht erkennen! Folglich ist es für Prüfverfahren, die von einer kleinen Anzahl von Labors durchgeführt werden, offensichtlich besser, eine EP mit 6 Teilnehmern zu organisieren als gar keine. In diesen Fällen sollte der EP-Anbieter besonders auf die Anzahl der Testergebnisse pro Teilnehmer achten, die er anfordert, um einen angemessenen λ-Wert zu gewährleisten und folglich eine möglichst gute Effizienz sicherzustellen.