Kötü Bilim: MyType iPad Araştırması
Geçtiğimiz hafta, verilerinizi alan ve ardından sınavlarına verdiğiniz yanıtlara göre toplu raporlar satan bir Facebook kişilik uygulaması olan MyType, iPad hakkında bir rapor yayınladı. İPad sahiplerinin ve bir tane satın almak isteyenlerin "bencil elitler" olduğunu, iPad eleştirmenlerinin ise "bağımsız inekler" olarak nitelendirildiğini öne sürdüler.
Bunun tam olarak bilimsel bir analiz olmayacağını şimdiden söyleyebilirsin, değil mi?
Birincisi, MyType’ın sonuçlarını raporlamasıdır. Gerçek rapora dahil edilmeyenler, kullanılan gerçek istatistiksel testler, istatistiksel anlamlılık (p değerleri) ve çalışılan her gruptaki denek sayılarıdır. Bilirsiniz, sunulan sonuçları değerlendirmek için diğer araştırmacıların aradığı temel veri türleri. Bu temel bilgiler olmadan, bu tür bir "araştırma", bir lisans öğrencinin Psikoloji 101 dersi için yazdığı makaleden daha iyi olamaz.
John Hall adında bir kişi, yorumlar bölümünde onları çağırdı, bu noktada p değerleri hakkında geniş ifadeler vermeye başladılar (ancak yine de, ayrıntı yok, her analizi parçaladılar, bu da piyasada veya bilimsel Araştırma). Dr. F, MyType çalışanlarını temel istatistik teorisi konusunda eğitmeye çalıştı çünkü görünüşe göre iyi bir araştırma çalışmasının nasıl tasarlanacağı hakkında pek bir şey bilmiyorlardı.
Yorumlar bölümünden de net olan şey, birisinin daha sonra söylediğine pişman oldukları şeyleri kaldırmak için yorumları düzenlemekte olduğudur. John Hall, görünüşe göre Tim Koelkebeck'in bir bilgisayar bilimi diplomasına (görünüşe göre bir lisans derecesine) sahip olduğu için, onu bir şekilde araştırma tasarımı ve metodoloji ve istatistik açısından nitelendirdiğini söyleyerek alıntı yapıyor. Garip.
Ancak bunun ciddi bir araştırma çalışması olmadığının en büyük cevabı, iki grup insanı tanımlamak için seçilen sıfatlar. Her grubu tanımlamak için bazı keyfi kişilik özellikleri aldılar. İPad olmayan sahiplerin nevrotik, güvensiz, gururlu ve umursamaz olduklarını da kolaylıkla söyleyebilirlerdi. Bu, iPad olmayan sahiplerin meşru bir tanımlaması mı? Elbette hayır, bu yalnızca küçük, önyargılı veri kümelerinin gösterdiği şeydir. Bunun koku testini bile geçemediği göz önüne alındığında, çoğu araştırmacının yanlış yola mı gidip gitmediklerini merak etmek için duraklamasına neden olur.
Kendi verilerinden hareketle, iPad eleştirmenlerini hoşgörüsüz, hayırseverlik ve arkadaşlıktan hoşlanmayan, saldırgan ve alaycı gençler olarak nitelendirebilirlerdi. Vay canına, şaşırtıcı değil - cinsiyetin mi yaşın mı bu sonuçları çarpıttığını anlamanız gerekir (ve belirtilen özelliklere alternatif bir açıklama sunmanız gerekir). “Araştırmacılar” ayrıca iPad sahiplerini aile odaklı, akıllı, yüksek başarıya sahip, hem yaratıcı hem de sofistike yetişkinler olarak tanımlayabilirdi.
Ama yapmadılar. Haber başlıkları yapmak için bir dizi farklı özelliği akılda kalıcı pazarlama cümleleri halinde özetlemeye çalıştılar - ne özellikle doğru ne de özellikle bilimsel olarak geçerli olan ifadeler. Bu, CNET, ZDNet ve hatta Wired gibi düzinelerce meşru, ana akım haber kuruluşunun bilimsel titizlik veya yöntem eksikliği konusunda kaşlarını kaldırmadan sonuçları rapor etmesini engellemedi.
