Oops! Sonuçta Psikoloji Biliminde "Tekrarlanabilirlik Krizi" Yok

Çığır açan bilim üzerinde çalışan 270 bilim insanını içeren bir araştırma projeniz - Açık Bilim İşbirliği (OSC) - olduğunda, bazı temel bilgileri doğru bir şekilde almalarını umarsınız. Metodolojik olarak sağlam ve meslektaşlarının incelemesine dayanabilecek rastgele bir çalışma tasarlamak gibi.

Ancak Ağustos 2015'te 44 araştırmacı tarafından yayınlanan "Psikolojik bilimin tekrarlanabilirliğini tahmin etmek" (Nosek ve diğerleri, 2015) adlı çığır açan makalenin bazı önemli kusurları olduğu görülüyor. Yeni bir makale, sonuçta psikolojide aslında "tekrarlanabilirlik krizi" olmadığını öne sürüyor.

Harvard Üniversitesi ve Virginia Üniversitesi'nden dört araştırmacı (Gilbert ve diğerleri, 2016) bulgularını Bilim (psikoloji kopyaları web sitesi tüm verileri ve materyalleri barındırır). Orijinal çalışmada, bulgularını ciddi şekilde sorgulayan üç önemli istatistiksel hata bulduklarına inanıyorlar. Yeni araştırmacılar, "Gerçekte, kanıt, zıt sonuçla tutarlıdır - psikoloji biliminin tekrarlanabilirliği oldukça yüksektir ve aslında istatistiksel olarak% 100'den ayırt edilemez."

Oops.

Orijinal çalışma (Nosek ve diğerleri, 2015) 2008'de üç yüksek rütbeli psikoloji dergisinde yayınlanan makalelerde bildirilen 100 deneyden elde edilen bulguları yeniden üretmeye çalıştı. Çalışmanın ilk eleştirisi, bunun psikoloji çalışmalarının rastgele seçilmiş bir seçimi olmamasıdır. Bunun yerine, Nosek grubu çalışma seçimini, gelişimsel ve klinik psikoloji gibi ana alanları dışarıda bırakarak, psikolojinin iki disiplinini temsil eden yalnızca üç dergiyle sınırladı. Sonra Nosek ve ark. inceledikleri üç derginin çalışmalarının yüzde 77'sinden fazlasını gerçekten diskalifiye eden karmaşık bir dizi keyfi kural ve kriter kullandı.

Önyargılı bir örneklemle başlayan araştırmanın sorunları olması kaçınılmazdır. Araştırmacılar, rastgele bir örneklemle başlamayarak, hayal kırıklığı yaratan bulguları için zemin hazırlamaya zaten yardımcı oldular.

Kopyaladığımız Çalışmaları (Önemli Ölçüde) Değiştirelim

Ön yargılı, rastgele olmayan bir örneklemle başlamaktan daha kötüsü, araştırmacıların kopyaları gerçekte nasıl gerçekleştirdiğiydi. İlk olarak, araştırmacılar "belirli ekipleri belirli çalışmaları kopyalamaya davet ettiler veya ekiplerin kopyalamak istedikleri çalışmaları seçmelerine izin verdiler." Araştırmacıları kopyalanacak çalışmalara rastgele atamak yerine, araştırmacıların seçim yapmalarına izin verdiler - her bir araştırmacının önyargısını, belki de kopyalanma olasılığının en düşük olduğunu düşündükleri çalışmaları seçmelerini sağladılar.

Yeni çalışmalar bazen kopyalamaya çalıştıkları eski çalışmalardan önemli ölçüde farklıydı. Yinelenen çalışmanın önemli komplikasyonları nasıl ortaya çıkardığına dair (en az bir düzine) örnek:

Başka bir çalışmada, Stanford Üniversitesi'ndeki White öğrencileri, üniversitelerindeki kabul politikalarını tartışan diğer dört Stanford öğrencisinin videosunu izlediler (Crosby, Monin ve Richardson, 2008). Tartışmacılardan üçü Beyaz ve biri Siyah'tı. Tartışma sırasında, Beyaz öğrencilerden biri olumlu ayrımcılık hakkında saldırgan yorumlar yaptı ve araştırmacılar, gözlemcilerin Siyah öğrenciye diğerlerinin yorumlarını duyamayacağına göre çok daha uzun süre baktıklarını keşfettiler. Kopyalama çalışmasındaki katılımcılar Amsterdam Üniversitesi'nde öğrenciler olsalar da, Stanford öğrencilerinin Stanford’un kabul politikaları hakkında (İngilizce!) Konuşurken aynı videosunu izlediler.

Bir Amsterdam üniversitesindeki öğrenciler, Amerikan ve Amsterdam toplumu arasındaki önemli kültürel farklılıklar göz önüne alındığında, Amerika'daki olumlu ayrımcılığın ne olduğunu gerçekten anlayabilirler mi? Şaşırtıcı bir şekilde, replikasyonu gerçekleştiren araştırmacılar, çalışmaların "neredeyse aynı" olduğunu söylediler (ve doğal olarak, öyle söylemeye eğilimliler, çünkü onların ders çalışma). Yine de, iki popülasyondaki önemli kültürel farklılıkları kabul eden orijinal araştırmacılar, yeni çoğaltma çalışmasını onaylamadılar.

Gilbert ve meslektaşları, bu tür problemleri sadece birinde değil, çoğaltma çalışmalarının çoğunda buldular. Nosek ve ark. bu tür tutarsızlıkların çalışmanın kalitesini (veya araştırmacıların deyimiyle "doğruluğu") etkilemeyeceğini hissettim. Yine de açıkça bunlar, çalışmanın tekrarlanabilirliğini kesinlikle etkileyecek olan önemli niteliksel farklılıklardır.

Daha Fazla Güce İhtiyacımız Var!

Bir çalışma, tasarımına dayanabilir veya düşebilir. Ve bir araştırma çalışmasının tasarımının önemli bir parçası da güç. Çoğaltma çalışması, muhtemelen baştan başarısız olmaya mahkum olan bir tasarım kullandı. Düşük güçlü tasarımlar, daha güçlü çalışmaların yapabileceği efekt boyutlarını yakalayamaz. Nosek ve meslektaşları, düşük güçlü bir tasarımla gitmeyi seçerek, tek bir veri noktası toplamadan önce olumsuz bulgularını sanal olarak sağladılar.

Nosek ve meslektaşları, Gilbert ve ark. cevaplarında tek tek vuruldu. Gilbert ve meslektaşlarının sonucu?

Özetle, [replikasyon araştırmacıları tarafından] öne sürülen argümanların hiçbiri, [yeni çalışmanın] yazarlarının düşük güçlü bir tasarım kullandığı ve (ML2014 verileriyle ilgili analizlerimizin gösterdiği gibi) bunun büyük olasılıkla büyük bir verilerindeki gerçek replikasyon oranının olduğundan az tahmin edilmesi.

Diğer psikoloji araştırmacıları, 2014 yılında benzer bir kopyalama deneyi yürüttüler (Klein ve diğerleri, 2014). Yüksek güçlü bir tasarım kullanarak, inceledikleri psikoloji çalışmalarının çoğunun yinelendiğini buldular - 13 deneyin 11'i yeniden çalıştırıldı. Nosek ve diğerlerinin düşük güçlü tasarımının etkisini test etmek için Gilbert ve ark. 2014 çalışmasının çoğaltma oranının yüzde 85'ten yüzde 34'e düşeceği tahmin ediliyor. Önemli ve etkileyici bir fark.

Peki, Psikolojik Bilimin Yeniden Üretilebilirliği Hakkında Gerçekten Ne Biliyoruz?

Düşündüğümüzden daha fazla. Gilbert ve arkadaşlarının eleştirisi ve orijinal araştırmacıların mızmızca tepkisi göz önüne alındığında, Nosek ve ark. çalışma kritik derecede kusurluydu.

Görünüşe göre psikoloji bilimi düşündüğümüzden daha fazla yeniden üretilebilir - hem bilim hem de psikoloji için iyi haber.

Referanslar

Gilbert, D., King, G., Pettigrew, S. & Wilson, T. (2016). "Psikolojik bilimin yeniden üretilebilirliğini tahmin etmek" üzerine yorum yapın. Bilim, 351, 1037a-1037b.

Gilbert vd. (2016). "Psikolojik bilimin tekrarlanabilirliğini tahmin etmek" konusundaki teknik yorumumuzun cevabına bir yanıt.

Klein, RA, Ratliff, M Vianello, RB Adams Jr, Š Bahník, MJ Bernstein, vd. (2014). Tekrarlanabilirlikte Varyasyonu Araştırma: "Birçok Laboratuvar" Çoğaltma Projesi. Sosyal Psikoloji, 45, 142-152

Nosek vd. & Açık Bilim İşbirliği. (2015). Psikolojik bilimin tekrarlanabilirliğini tahmin etmek. Bilim, 349. DOI: 10.1126 / science.aac4716

Nosek vd. (2016). "Psikolojik bilimin yeniden üretilebilirliğinin tahmin edilmesi" üzerine yoruma verilen yanıt. Bilim, 351, 1037. DOI: 10.1126 / science.aad9163