Bilim Öldü mü? Bir Sözcükte: Hayır

Birkaç hafta önce, Jonah Lehrer bir şekilde basitleştirilmiş ve sansasyonel bir makale yazdı. The New Yorker The Truth Wears Off: bilimsel yöntemde bir sorun mu var? Lehrer kitabında, belki de bilimsel yöntemin - hipotezlerimizi veri ve istatistiklerle bilimsel olarak nasıl doğruladığımız - korkunç bir şekilde ters gittiği önermesini desteklemek için anekdot niteliğindeki kanıtlara (ve biraz veriye) atıfta bulunuyor.

Ancak Lehrer'in not edemediği şey, çoğu araştırmacının zaten tanımladığı kusurları biliyor olması ve bu sorunların etkisini en aza indirmek için gayretle çalışmasıdır.

Bilimsel yöntem bozulmamış. Lehrer'in tanımladığı şey, basitçe iş başında bilim ve çalışmaktır.

Bu denemeye en iyi yanıt, ScienceBlogs yazarı PZ Myers'dan geliyor, Science ölmedi. Bu çürütmede Myers, önceki bulguları tekrarlayamadığı zaman bilimle ilgili temel sorunlara dikkat çekiyor:

1. Ortalamaya gerileme: Veri noktalarının sayısı arttıkça, ortalama değerlerin gerçek ortalamaya gerilemesini bekleriz… ve çoğu zaman ilk çalışma umut verici erken sonuçlar temelinde yapıldığından, daha fazla verinin tesadüfi olarak eşitlenmesini bekleriz. önemli erken sonuç.
2. Dosya çekmecesi etkisi: Önemli olmayan sonuçların yayınlanması zordur ve sonunda bir dolapta saklanır. Ancak, sonuç olarak yerleşik hale gelir, aksine sonuçlar daha ilginç ve yayınlanabilir hale gelir.
3. Araştırmacı önyargısı: Bilimsel tarafsızlık sağlamak zordur. Hepimiz hipotezlerimizin doğrulandığını görmeyi çok isteriz, bu nedenle bilinçli veya bilinçsiz olarak görüşlerimizi destekleyen sonuçları seçme eğilimindeyiz.
4. Ticari önyargı: İlaç şirketleri para kazanmak ister. Bazı istatistiksel destek varsa, plasebodan para kazanabilirler; Kar için istatistiksel aykırı değerlerden yararlanmaya yönelik kesinlikle bir önyargı var.
5. Nüfus varyansı: Nüfusun iyi tanımlanmış bir alt kümesindeki başarı biraz sürünmeye yol açabilir: ilaç bu gruba iyi tanımlanmış semptomlarla yardımcı oluyorsa, belki de marjinal semptomları olan bu diğer grupta denemeliyiz. Ve yapmaz… ama bu rakamlar yine de genel etkinliğini tahmin etmede kullanılacaktır.
6. Basit şans: Bunun insanlara ulaşması zor bir şey olduğunu gördüm. Ancak p = 0,05 düzeyinde önemli bir şey varsa, bu yine de tamamen yararsız bir ilaçla yapılan 20 deneyden 1'inin yine de önemli bir etki göstereceği anlamına gelir.
7. İstatistiksel balıkçılık: Bundan nefret ediyorum ve her zaman görüyorum. Planlanan deney önemli bir sonuç ortaya çıkarmadı, bu nedenle veriler gözden geçirildi ve önemli bir korelasyon, sanki amaçlanmış gibi ele alınır ve yayınlanır. Önceki açıklamaya bakın. Veri kümesi yeterince karmaşıksa, her zaman bir yerde, tamamen şans eseri bir korelasyon bulursunuz.

1 numara, bugün bilimde bulduğumuz birçok sorunu, özellikle de psikoloji bilimini açıklıyor. Hakkında okuduğunuz deneylerin çoğunu biliyorsunuz Psikolojik Bilim, Psikolojik Bilimler Derneği'nin amiral gemisi yayını mı? Berbatlar. Ortabatı üniversitelerinde çoğunlukla Kafkasya'daki üniversite öğrencilerinin küçük, homojen örnekleri üzerinde yapılan N = 20 deneylerdir. Bunların çoğu hiçbir zaman kopyalanmaz ve daha azı, orijinal sonuçların istatistiksel bir tesadüften başka bir şey olmadığını muhtemelen gösterecek olan örnek boyutlarında çoğaltılır.

Araştırmacılar bunu zaten biliyorlar, ancak siz veya benden çok farklı bir kural kitabına göre yaşıyorlar. Onların geçim kaynakları, iyi, yayınlanabilir araştırma yapmaya devam etmelerine bağlı. Bu araştırmayı yapmayı bırakırlarsa (veya hakemli bir dergide yayınlayamazlarsa), işlerini kaybetme riski daha yüksektir. Akademide "yayınla veya yok ol" olarak bilinir ve sonuçların kopyalanamayacağını bilseniz bile, herhangi bir araştırmayı yayınlamak için çok gerçek bir motivasyondur. Yukarıdaki 3 Numaraya bakın.

Son olarak, incelediğim araştırma çalışmalarında 7 Numarayı o kadar çok görüyorum ki bu neredeyse utanç verici. Bilimsel yöntem, yalnızca önceden hipotezler oluşturduğunuzda, verilerinizi toplamak için deneklerinizi çalıştırdığınızda ve daha sonra bu verileri başladığınız hipotezlere göre analiz ettiğinizde iyi ve güvenilir bir şekilde çalışır. Hipotezi verilere uyacak şekilde değiştirmeye karar verirseniz veya güvenmediğiniz istatistiksel testleri çalıştırırsanız, bulgularınızı lekeliyorsunuz demektir. Her araştırmacının yaptığı bir balık tutma gezisine başlıyorsunuz. Ama sırf herkesin yaptığı için bunun iyi veya etik bir davranış olduğu anlamına gelir.

Sorun, araştırmanın zaman alıcı ve genellikle pahalı olmasıdır. 100 deneği bir denemeden geçirdiyseniz ve önemli hiçbir şey bulamadıysanız (hipotezlerinize göre), yalnızca bu çalışmayı yayınlama olasılığınız düşük olmakla kalmaz, aynı zamanda profesyonel hayatınızın aylarını (hatta yıllarını) ve her zaman sınırlı araştırma bütçeniz.

Bunun optimum olmayan araştırma bulgularının yayınlanmasına nasıl yol açacağını göremezseniz, temel insan psikolojisi ve motivasyonuna biraz kör olabilirsiniz. Araştırmacılar süper insanlar olmadıkları için - başkalarıyla aynı hataları, önyargıları ve motivasyonları var. Bilimsel yöntemin - titizlikle uygulandığında - bunu açıkladığı varsayılıyor. Sorun şu ki, hiç kimse araştırmacıları takip etmelerini sağlamak için gerçekten izlemiyor ve bunu yapmak için içsel bir teşvik yok.

Yine PZ Myers'ın yaptığı bu gözlemle bitireceğim,

Tüm bu yaygara, zaman zaman hipotezlerin yanlış olduğunu söylüyor ve bazen hipotez için destek zayıf kanıtlar veya karmaşık bir veri kümesinin yüksek düzeyde türetilmiş bir yorumu üzerine kuruluysa, uzun zaman alabilir. ortaya çıkacak doğru cevap. Yani? Her nasılsa her şeyden anında tatmin olmayı veya her değerli fikrin onaylanmasını beklemiyorsanız, bu bilimin başarısızlığı değildir.

Amin.

Lehrer'in Denemesi Üzerine Başkalarının Görüşleri

Bilim ölmedi - PZ Myers

Bilimsel hataya övgü - George Musser

Bilimsel yöntemdeki sorun insanlar mı? - Charlie Petit

Şüphe duyacağımız gerçek: "Düşüş etkisi" tüm bilimin "doğru" olduğu anlamına mı gelir? - John Horgan

Gizemli Düşüş Etkisi - Jonah Lehrer