Hangi Araştırmaya İnanabilirsiniz?
Okuyan herkes Psikoloji Dünyası endüstri tarafından finanse edilen birçok çalışmadaki sorunları zaten düzenli olarak biliyor. Ancak bu makale, hakemli araştırmalarla ilgili sorunların basit kâr amaçlı önyargıdan çok daha derinlere gittiğini öne sürüyor. Bilim adamları birçok yönden önyargılıdır (sadece parasal kazanç için değil). Ve bu önyargı, kaçınılmaz olarak yaptıkları işte - bilimsel araştırmada - ortaya çıkıyor.
Bu benim için yenilecek yeni bir davul değil - 2007'deki araştırmacı önyargısından ve araştırmacıların belirli sonuçları bulmak için araştırmaları nasıl tasarladığından bahsetmiştim (bu örnek, arama yaparken - bekleyin - “intihar yöntemleri "Google'da"). Aşağıdakiler gibi dergilerdeki neredeyse her çalışmanın nasıl olduğunu belirttik Psikolojik Bilim konu olarak tek bir kampüsten toplanan üniversite öğrencilerine neredeyse tamamen güveniyor - bu önemli bir sınırlama çalışmaların kendisinde nadiren bahsediliyor.
Ancak, asıl rahatsız edici yönü şudur - bu tür önyargılı çalışmalar her tür dergide görünür. JAMA, NEJM ve BMJ tıp ve psikoloji alanında saçma sapan, kusurlu çalışmalar yayınlamaktan muaf değiller. Bir derginin “saygınlığını”, en prestijli dergilerde görünen çalışmaların temelde sağlam olması gerektiğine dair bir kapı bekçiliği rolünün bir tür işareti olarak düşünüyoruz.
Ancak bu kesinlikle doğru değil. İmparator sadece çıplak değildir - tebaası kendi kariyerlerini ilerletmek için kıyafetlerini gizlemiştir.
Önyargılı çalışmaların yayımlanması sorunu ilk olarak 2004 yılında GlaxoSmithKline'a Paxil'deki araştırma verilerini saklamaktan eyalet başsavcıları tarafından dava açıldığında dikkatleri çekti. O zamandan beri, düzinelerce çalışma gün ışığına çıktı ve o zamandan beri ilaç şirketlerinin ilgili araştırma verilerini düzenli olarak nasıl sakladıklarını gösteren başka çalışmalar yayınlandı. Bu veriler genellikle, üzerinde çalışılan ilacın, amaçlanan herhangi bir bozukluğun tedavisinde bir şeker ilacı ile karşılaştırıldığında etkili olmadığını göstermektedir. (Klinik Psikoloji ve Psikiyatri: Daha Yakından Bakış ve Carlat Psikiyatri Blogu gibi bloglarda bu çalışmalar hakkında daha fazla ayrıntı var.)
Peki ya diğer önyargı türleri? Sadece önyargının bu kadar açık olduğu araştırmalarla mı ilgileniyoruz, yoksa sonuçların güvenilirliğini etkileyebilecek herhangi bir önyargı hakkında endişelenmemeli miyiz?
Cevap, elbette, her tür önyargı ile ilgilenmemiz gerektiğidir. Bir çalışmanın son sonuçlarını etkileyebilecek her şey, çalışmanın sonuçlarının sorgulanabileceği anlamına gelir.
Yanya Üniversitesi'nde profesör olan John Ioannidis, tıbbi araştırmada bu soruyla ilgilenmeye başladı. Bu yüzden, daha derine inmek ve sorunun ne kadar kötü olduğunu görmek için uzman bir araştırmacı ve istatistik ekibi oluşturdu. Bulduğu şey araştırmacıları şaşırtmadı, ancak çoğu meslekten olmayan insanı şaşırtacak -
Şaşkın, çalışmaların yanlış gittiği belirli yolları aramaya başladı. Ve çok geçmeden, yapılan hataların şaşırtıcı olduğunu keşfetti: Araştırmacıların sorduğu sorulardan, çalışmaları nasıl kurduklarına, çalışmalar için hangi hastalara dahil ettikleri, hangi ölçümleri yaptıkları ve verileri nasıl analiz ettikleri , sonuçlarını nasıl sunduklarına, belirli çalışmaların tıp dergilerinde nasıl yayınlandığına. […]
"Çalışmalar önyargılıydı" diyor. Bazen açıkça önyargılıydılar. Bazen önyargıyı görmek zordu ama oradaydı. " Araştırmacılar, belirli sonuçlar elde etmek için çalışmalarına yöneldi - ve bakın, onları alıyorlardı. Bilimsel sürecin, doğru olanı sadece doğru olmasını istediğimizden ayırmada nesnel, titiz ve hatta acımasız olduğunu düşünüyoruz, ancak aslında kasıtsız veya bilinçsiz olarak bile sonuçları manipüle etmek kolaydır.
Ioannidis, "Sürecin her adımında, sonuçları çarpıtmak için alan, daha güçlü bir iddiada bulunmanın veya neyin sonuçlandırılacağını seçmenin bir yolu var" diyor. "Araştırmacıları, kendilerine fon sağlama olasılığı en yüksek olanı bulmaya zorlayan entelektüel bir çıkar çatışması var."
Ioannadis, tüm bu değişkenlere dayanarak ne kadar araştırmanın kusurlu olabileceğini tahmin edecek karmaşık bir matematiksel model oluşturdu. Onun modeli, “randomize olmayan çalışmaların yüzde 80'inin (açık farkla en yaygın tür [- özellikle psikolojik araştırmada]) yanlış çıkacağını tahmin ediyordu, sözde altın standartlı randomize çalışmaların yüzde 25'i gibi platin standardı büyük randomize denemelerin yüzde 10'u kadar. "
Daha sonra bu modeli, son 13 yılda tıbbi araştırmalarda en saygın araştırma bulgularını içeren 49 çalışmayı test etti. Bunlar en çok alıntı yapılan tıp dergilerindeydi ve kendileri de en çok alıntı yapılan makalelerdi.
49 maddeden 45'inin etkili müdahaleleri ortaya çıkardığı iddia edildi. Bu iddiaların otuz dördü tekrar test edilmiş ve bunlardan 14'ü veya yüzde 41'i ikna edici bir şekilde yanlış veya önemli ölçüde abartılmış olarak gösterilmişti. Tıpta en çok beğenilen araştırmaların üçte biri ile yarısı arasında güvenilmezlik ortaya çıkıyorsa, sorunun kapsamı ve etkisi inkar edilemezdi. […]
Ioannidis'in odaklandığı 45 süper alıntı yapılan çalışmadan 11'i yeniden test edilmedi. Belki daha da kötüsü, Ioannidis, bir araştırma hatası ortaya çıktığında bile, tipik olarak yıllarca hatta on yıllarca sürdüğünü keşfetti. 1980'lerden ve 1990'lardan sonra her biri sağlam bir şekilde çürütülen üç önemli sağlık araştırmasına baktı ve araştırmacıların orijinal sonuçları hatalı olduğundan daha doğru olarak göstermeye devam ettiğini keşfetti - bir vakada sonuçların itibarını yitirdikten sonra en az 12 yıl .
Bilim adamları, başkalarının yayınlanmış sonuçlarını yeniden test etmek için çok fazla - önyargıyla mücadelenin tek kesin yolu. Son 13 yılda en çok alıntı yapılan tıbbi araştırmaların yaklaşık yüzde 25'i nasıl yeniden test edilmedi? Şaşırtıcı.
Çoğumuz için sonuç, belirli bir araştırma parçasının gerçekten olumlu, yeni ve sağlam sonuçlar gösterip göstermediğini kimsenin söylemesinin neredeyse imkansız olmasıdır. Çalışmanın ve çalışmanın öncüllerinin ayrıntılı bir analizine girmeden, yeni araştırmayı bağlama oturtmak uzun ve zor bir iştir. Dahası, Ioannidis'in modeli, psikolojik araştırmaların büyük çoğunluğunun - belki de yüzde 80 kadarı - muhtemelen yanlış olduğunu öne sürüyor. Burada gerçekten gümüş astar yok.
Belki Ioannidis gibi araştırma ekiplerinin iş başında olması ve önyargının "altın standart" araştırmalara bile nasıl sızabileceğini göstermek dışında.
Buradaki değişim, büyük ölçüde bireysel araştırmacıların bu önyargıları öğrenmesine ve çalışmalarının bunlardan yoksun olmasını sağlamak için çok daha fazla çalışmaya bağlıdır. Ancak bir araştırmanın tasarımını veya istatistiksel yöntemlerini gerçekten kontrol eden bir bekçi olmadığından, değişiklik yapmak için çok az teşvik vardır. Araştırmacıların akademik ve profesyonel konumlarını korumak için geleneksel olarak sahip oldukları gibi yayınlamaya devam etmeleri için mali ve kariyer teşvikleri inatçı bir şekilde güçlü kalmaktadır.
Makalenin tamamı zaman ayırmaya değer: Yalanlar, Lanet Yalanlar ve Tıp Bilimi
İdeal olmasa da, sorgulanabilir araştırmaları nasıl tespit edebileceğimizle ilgili birkaç yıl öncesinden yazımız: Araştırma Faydalı mı?
