Mekanik Türk Psikoloji Araştırmasını Kurtarmaya mı?
Bu gerçek bir sorun, çünkü Ağustos 2010'da belirttiğim gibi, ABD'deki bir üniversitede tek bir kampüsten bir grup üniversite öğrencisinden başka hiçbir şeye dayanmayan, kelimenin tam anlamıyla binlerce psikoloji çalışması var, ancak üniversiteye devam eden genç yetişkinler aslında insan davranışının bazı yönlerini anlamamıza yardımcı olur, bu çalışmalarda gözlemlediğiniz davranışların 60 yaşındaki kadın ve erkekler için de geçerli olduğunu varsayamazsınız.
Kurtarma için Amazon.com’un Mechanical Turk hizmetine girin. Teknoloji, nüfusu daha iyi temsil eden yeterli sayıda insan bulma çıkmazını çözmeye yardımcı olabilir mi ve bunu uygun maliyetli bir şekilde yapabilir mi?
Başlamak için, Mechanical Turk'ün ne olduğunu anlamak yardımcı olabilir. Satıcıların, bir tür çevrimiçi görev için çok ucuz maliyetlerle insan emeği satın almalarına olanak tanıyan çevrimiçi bir pazardır. Araştırmacılar, "Site, her gün onbinlerce görevi tamamlayan 100'den fazla ülkeden 100.000'den fazla kullanıcıdan oluşan büyük ve çeşitli bir iş gücüne sahip" diyor. Bu işçilere her görev için, bazen 1 sent kadar düşük, parça parça ödeme yapılır. Görevler değişiklik gösterir ve hata arayan bir web sitesine göz atmaktan anket doldurmaya kadar her şeyi yapabilir.
Ah evet, anketleri doldurmak. Pek çok psikoloji araştırması, insanların anketleri doldurmasına dayanır. Üniversite öğrencisi olmayan insanlara bunu anket başına 10 dolardan daha az bir parayla yaptırabilsek iyi olmaz mıydı? Mesela 10 sent?
Buhrmester vd. (2011), bu tür Mekanik Türk insanlarının anketleri, yüz yüze benzer bir şey yapmayı isteyebileceğiniz insanlarla tutarlı bir şekilde doldurup doldurmayacağını bulmaya başladı.
İlk olarak, araştırmacılar 3.006 Mechanical Turk katılımcısının demografik özelliklerini araştırdı ve onları Mechanical Turk'ten alınmayan büyük bir İnternet örneği ile karşılaştırdı. Mechanical Turk (MTurk) katılımcılarının hem İnternet örneğinden hem de standart üniversite öğrencisi popülasyonundan daha çeşitli olduğunu buldular.
Daha sonra, değişen miktarlarda zaman alan (5, 10 ve 30 dakika) bir dizi anketi doldurmak için farklı fiyat noktalarını (2, 10 ve 50 sent) kontrol ettiler. Buldukları şey, MTurk kullanan hiç kimse için şaşırtıcı olmamalıdır:
Bu analizler, katılımcıların hızlı ve ucuz bir şekilde işe alınabileceğini göstermektedir. Katılım oranları, tazminat miktarlarına ve zaman taahhütlerine duyarlıdır, ancak bulgularımız, sadece dolar karşılığında MTurk üzerinden makul büyüklükte numuneler almanın mümkün olduğunu göstermektedir. 30 dakikalık bir görev için sadece 2 sent teklif ederken bile, 25 katılımcı biriktirdik (yaklaşık 5 saatlik gönderi süresi içinde). Dahası, tazminatı biraz artırarak (örneğin 50 sente), aynı sayıda katılımcıyı 2 saatten daha az gönderi süresinde elde etmeyi başardık.
Bununla birlikte, kaliteli değilse ve psikoloji araştırmacılarının ihtiyaç duyduğu psikometrik standartları karşılamıyorsa ucuz iş gücü ne işe yarar?
Araştırmacılar, 2 sentlik en düşük ücret seviyesinde bile, ödeme seviyelerinin veri kalitesini etkilemediğini buldu. Araştırmacılar, anketlerin tamamlanması için kuruş ödeyebilir ve güvenilir bir şekilde kaliteli verileri iade edebilir.
Araştırmacılar, çevrimiçi olarak uyguladıkları altı kişilik anketinin tüm ücret seviyelerinde ortalama alfa güvenilirlik puanlarını hesapladılar. MTurk alfa puanlarının geleneksel örnek alfaların bir noktasının iki yüzde biri dahilinde olduğunu buldular. Ayrıca test-tekrar test güvenilirlik puanlarını test ettiler ve ortalama r = 0.88'i yüzde 60 yeniden test tamamlama oranıyla buldular. Bunların hepsi çok iyi sayılardır ve geleneksel yöntemlerle olumlu bir şekilde karşılaştırılır.
Bu araştırma çalışmasının sonucu, Mechanical Turk'ün anket verilerini elde etmek için üniversite popülasyonlarını kullanmanın güvenilir bir alternatifi olduğunu ve hatta geleneksel İnternet anketlerinden daha iyi bir alternatif olabileceğini gösteriyor. Sadece kuruş para karşılığında insanlar, başkalarına projelerinde ve araştırmalarında yardımcı olma çabalarında daha da uzun anketleri dolduracaklar. Bu bulguları doğrulamak için daha fazla araştırma yapılması gerekse de, MTurk bir pazar yeri gibi görünmektedir, daha fazla psikoloji araştırmacısının bir sonraki çalışmalarını hazırlarken düşünmesi gerekir.
Referans
Buhrmester, M., Kwang, T. ve Gosling, S.D. (2011). Amazon’un Mechanical Turk: Yeni Bir Ucuz, Yine de Yüksek Kaliteli Veri Kaynağı? Psikolojik Bilimler Üzerine Perspektifler, 6 (1), 3-5.
Bu makale, bir kitap satın alındığında Psych Central'a küçük bir komisyonun ödendiği Amazon.com'a bağlı kuruluş bağlantılarını içerir. Psych Central'a desteğiniz için teşekkür ederiz!
