Veriler Konuşsun mu? Hayır, Her Zaman Değil

Iowa Üniversitesi'nde saygın bir profesör ve araştırmacı olan Frank L. Schmidt, Cumartesi günü Psikolojik Bilimler Derneği'nin 20. toplantısında bilimsel verilerin nasıl yalan söyleyebileceği hakkında bir konuşma yaptı. Evet, bu doğru, deneysel veriler - saygın, hakemli dergilerde yayınlananlar bile - düzenli olarak gerçeği söylemez.

Schmidt’in konuşmasına, kongrenin yapıldığı Chicago’daki Sheraton Hotel and Towers’ın en büyük balo salonlarından birinde katılım sağlandı. Düzensiz bir sunum olmasına rağmen, Schmidt'in ana noktaları ortaya çıktı.

Bunlardan biri, çoklu veri setlerinin saf yorumlanmasının genellikle en doğru olmasının muhtemel olmasıdır - Occam'ın ustura ("en basit çözüm genellikle en iyi cevaptır"). Schmidt, iyi araştırmanın karmaşık verilerin altında yatan basit yapıyı bulduğunu iddia ediyor.

Verilerin araştırmada "yalan söylemesinin" iki ana nedeni olduğunu özetledi - örnekleme hataları ve ölçüm hataları.

Schmidt'in en büyük eleştirisi psikoloji biliminin fetişine yönelik anlamlılık testiyle - ör. İstatistiksel anlamlılık - yöneltildi. Psikolojinin, istatistiksel anlamlılığa olan güveninden ve hayranlığından uzaklaşmasını diliyor, çünkü temelde temelde yatan veriler veya hipotez hakkında çok az şey söyleyen zayıf, önyargılı bir ölçüdür.

Schmidt, çevreleyen anlamlılık testiyle ilgili altı efsaneyi anlattı. Bir efsane, iyi bir p değerinin, bir çalışmanın güç seviyesinin gerçekten sadece bir göstergesi olduğunda, bir önem göstergesi olduğuydu. Bir diğeri ise, eğer hiçbir anlamlılık bulunmadıysa, bunun değişkenler arasında hiçbir ilişki bulunmadığı anlamına gelmesidir (gerçekte, bu basitçe çalışmanın yeterli güce sahip olmadığı anlamına gelebilir).

Schmidt'in çözümleri basittir - bunun yerine etki büyüklüklerini (nokta tahminleri) ve güven aralıklarını rapor edin ve önem testinin tamamen vurgulanmasını kaldırın.

Psikolojik araştırmada meta-analizlere yapılan yeni vurguyu küçümseyerek sonlandırdı, özellikle dergiyi çağırdı. Psikolojik Bülten. Henüz yayınlanmamış bir çalışmada, kendisi ve diğer araştırmacılar, dergide yayınlanan tüm meta analizleri incelediler. Psikolojik Bülten 1978-2006 - 199 çalışma arasında.

Araştırmacılar, incelenen bu çalışmaların% 65'inin meta-analizleri için "sabit etkiler" modeli kullandığını buldu. Schmidt, sabit etkiler modellerinde veri ilişkilerinin hafife alındığını (% 50'ye kadar) ve araştırmacıların ne kadar kesin olduklarını (bu tahminde ne kadar az hata olduğunu) fazla tahmin ettiklerini iddia etti. Bunun yerine Schmidt, bu varyasyonları daha iyi açıklayan “rastgele efektler” modellerini tercih ediyor.

Ayrıca incelenen çalışmaların% 90'ında ölçüm hatası için herhangi bir düzeltme yapılmadığını da belirtti - verilerin psikolojik araştırmada "yalan söyleyebildiğini" öne sürmesinin başlıca nedenlerinden biri.

Bu analiz göz önüne alındığında Schmidt, hakemli dergilerde yayınlanan pek çok meta-analizin yanlış veya hatalı sonuçlara ulaştığını öne sürüyor.

Ne yazık ki, bu durumun yakın zamanda değişmesi pek olası değil. Pek çok psikolojik dergi, Schmidt'in önerilerine daha iyi uyan araştırmaların yayınlanması için daha katı standartlar benimsemiş olsa da, çoğu hala değişme niyetinde değil ve görünmüyor.

Bunun ortalama bir insan için anlamı, hakemli bir dergide göründüğü için yayınlanan her çalışmaya güvenemeyeceğiniz ve daha sonra basın bülteni aracılığıyla medyada "gerçek" olarak duyurulacağıdır. Bu tür gerçekler uysal, değişken ve hatalıdır. Ancak bu tür çalışmaların dikkatlice okunması ve analizi yoluyla sundukları verilerin değerini anlayabiliriz.