Psikoloji Araştırmalarında Tekrarlanabilirlik Eksikliği Ne Anlama Geliyor?

Geçen hafta, psikoloji araştırmalarında bulunan sonuçları yeniden üretmeye yönelik dünyanın en büyük çabasının sonuçları geldi. Brian Nosek’in Yeniden Üretilebilirlik Projesi, 2008 yılında sadece üç büyük psikoloji dergisinden yayınlanan 100 psikoloji deneyinin sonuçlarına bir göz attı. Ne tür sonuçlar alacaklarını görmek için çalışmayı yeniden üretmeye çalıştı.

İdeal bir dünyada, çalışmaların yüzde 75'i hatta yüzde 80'i gibi bir şeyin benzer sonuçlar vermesi gerektiği düşünülebilir, değil mi? Çünkü orijinal araştırmacıların yöntemlerini dikkatle takip eden araştırmacılar tarafından farklı bir popülasyon üzerinde basitçe yeniden yapılan yeni çalışmalar. Çoğu durumda, araştırmacılar ayrıca orijinal araştırmacılarla doğrudan temas ve işbirliği yaptı.

Ancak geçen hafta yayımlanan bir düzine farklı şekilde ortaya çıkan bir bulgu, Bilim dergi, Proje yüzde 75'e yakın bir yere gelmedi. Orijinal 100 çalışmanın yüzde 97'sine kıyasla, tekrarların yalnızca yüzde 36'sı önemli sonuçlar verdi.

Bu psikoloji için ne anlama geliyor?

Bazıları bu bulguyu beklenmedik ya da "olabileceği kadar kötü değil" olarak döndürmeye çalışsa da, bu psikoloji bilimi için pek de iyiye işaret değil. Her ay yüzlerce yeni psikoloji çalışması yayınlanmaktadır. Özetle, bu bulgunun anlamı, bu çalışmaların bulgularının çoğuna güvenilmeyecek olmasıdır. Gerçekte yanlıştırlar.

Nereden Atlantik'in kapsama:

Klasik teorik makalesi olan Stanford Üniversitesi'nden John Ioannidis, "Başarı oranı düşündüğümden daha düşük" diyor. Yayınlanan Araştırma Bulgularının Çoğu Neden Yanlış tekrarlanabilirlik hareketi için paratoner oldu.

“Bazı tahminlerimin doğrulandığını görmek beni üzüyor. Keşke yanlış oldukları ispatlansaydı. "

Yeni araştırmadan elde edilen bir başka kötü bulgu, ölçülen etki büyüklüklerinin, orijinal araştırmacıların bulduğundan tipik olarak yüzde 50 daha küçük olmasıdır. Bu, sonuçlar yeni araştırmacılar tarafından yeniden üretilse bile, incelenen değişkenlerin etkisinin neredeyse ilk düşünüldüğü kadar önemli olmadığı anlamına geliyor.

Psikoloji Araştırmalarında Yeniden Üretilebilirliğin Yetersiz Olmasının Nedenleri

Psikolojik araştırmalarla bu zayıf gösterinin bir düzine farklı nedeni var. Ancak bazılarını gözden geçirmeden önce, bu, tek bir çalışmadan sonuçları alıp onlardan genelleme yaparken, gerçeklik suyunun soğuk bir sıçramasıdır. Daha da kötüsü, bir şeye inanmak, tek bir araştırmadan daha fazlasıyla henüz doğru gösterilmediği zaman doğrudur.

Bir çalışma çift kör değilse - bunların çoğu olmadığı gibi - araştırmacıların kendi önyargıları, verilerin nasıl toplanacağını veya analiz edileceğini ince bir şekilde etkileyebilir. Bir araştırmacı 8 veya 18 ayını yalnızca önemli bir sonuç bulmak için veri toplamak için harcadıysa, yayınlayabilecekleri başka bir veri ilişkisi bulmak için bir veri balıkçılığı gezisine çıkabilir.1 Araştırmacılar daha sonra orijinal hipotezlerini gerçekte verilere uyacak şekilde değiştirirler. bulundu (çünkü çoğu araştırmacı araştırmalarını bir izleme hizmetine önceden kaydettirmiyor - bu yavaş yavaş değişse de).

Diğerleri, belki de "şaşırtıcılığın" başka bir açıklama olduğunu öne sürdüler - günümüzde dergiler, okuyucular için daha popüler ve ilgi çekici oldukları için şaşırtıcı bulgular yayınlamaya odaklanıyorlar. Ortalamaya gerileme olasılığını eklediğinizde - bu değişkenler ilk ölçüldüğünde en aşırı olabilir, ancak ikinci veya üçüncü kez ölçüldüğünde daha az uç olabilir - öneri, bu iki faktörün, doğası gereği zor olan çalışmaların yayınlanmasını teşvik etmek için bir araya gelmesidir. yeniden üretmek.

Psikolojik Bilim İçin Ne Anlama Geliyor?

İnsan doğası sonsuz derecede karmaşıktır. Psikoloji bilimi, bütünü daha iyi anlamak için insan davranışını ve duygularını küçük parçalara ayırmaya çalışır. Bununla birlikte, araştırma, çalışmaların arkasındaki bilimi yeniden üretemezse, bu, alanın her yıl yayınladığı şeylerin çoğuna da güvenilemeyeceğini gösterir.2

Bununla birlikte, daha önce başka alanlarda Yeniden Üretilebilirlik Projesi benzeri hiçbir şey denenmediği için, çoğu bilimin yeniden üretilebilirlik istatistiklerini de bilmiyoruz. Bu çoğu bilimin uğradığı bir kusur olabilir ya da sosyal bilimleri diğer bilimlerden daha fazla etkileyen bir kusur olabilir.

Ancak kısa vadede, bu her zaman söylediğim bir şeyi vurguluyor - bir psikolojik bilim bulgusu, başka bir araştırmacı tarafından yeniden üretilmeden şapkanızı asabileceğiniz bir şey değildir. Yeniden üretilebilecek bulguların "sağlam" olduğu ve bu nedenle güvenilir olduğu söylenir.

Yeni bir çalışmaya dayanarak haber makalelerini değerlendirirken veya okurken bu tür bilgileri arayın. Yeni kadar seksi olmasa da, "şaşırtıcı" bulgular, zaten bildiğimizi düşündüğümüz şeyleri doğrulayan veya sorgulayan araştırmalar aynı derecede önemli.

Daha fazla bilgi için…

The Atlantic: Psikoloji çalışmaları ne kadar güvenilir?

The Guardian: Çalışma, psikoloji deney sonuçlarının geçerliliği konusunda kasvetli bir karar veriyor

Mindhacks: Buna geri dönüş demeyin

Referans

Açık Bilim İşbirliği. (2015). Psikolojik bilimin tekrarlanabilirliğini tahmin etmek. Bilim, 28.

Tekrarlanabilirlik Projesi: Psikoloji - ham veriler

Dipnotlar:

1. Aksi takdirde, tüm bu zaman, para ve çaba boşa harcanmıştır, çünkü çok az sayıda araştırmacı boş sonuçlar yayınlayabilir veya yayınlamak ister. [↩]
2. Ve gerçekten de yazarların bulgularının uygulanabilirliği hakkında yaptıkları geniş genellemelerin, son psikoloji çalışmalarının neredeyse her Tartışma bölümünde bulunan, gerçekten de sorgulanmasını sağlıyor. [↩]