Bilimin Önüne Soğuk Koymak: TweetPsych

Bu hafta Dan Zarrella adlı bir web geliştiricisi tarafından TweetPsych adlı yeni bir hizmet başlatıldı. Zarrella aynı zamanda bir çevrimiçi pazarlama şirketi olan HubSpot'un pazarlama müdürüdür. Zarrella kendine "bilim adamı" diyor çünkü sanırım "web geliştiricisi" veya "pazarlama müdürü" nden daha seksi görünüyor, ancak herhangi bir akademik kimlik belirtmiyor. (Zarrella'nın yeni hizmeti hakkında belirli bilimsel iddialarda bulunması dışında bilim adamı veya kimlik bilgilerinden bahsetmeyeceğim.)

İlginç yeni hizmet, Twitter'a gönderdiklerinize bağlı olarak "psikolojik profil oluşturma" olarak pazarlanıyor. Ama aslında iki psikolojik sözlük ve son 1000 tweetinizi kullanan bir içerik analizi hizmetidir. Zarrella, bu analizin "bir kişinin psikolojik profilini oluşturduğunu" iddia ediyor. Gerçek psikolojik profilleme bir bilimdir ve genellikle bir kişinin hayatının bir parçasından çok daha fazlasıyla yapılır (bir mikro blog hizmetinde yazdıkları gibi). TweetPsych, bunun "yalnızca eğlence amaçlı" olduğuna dair çelişkili iddiada bulunur. Hangisi?

Zarrella'nın analizde kullandığı sözlüklerden birinde de sorunlar var. Bir sözlük - LIWC - geçerli bir psikolojik dilbilim veritabanıdır. Ancak diğeri, English Regressive Imagery Dictionary (RID), bundan çok daha az. RID, 43 düşünce ve ruh hali kategorisine atanmış yaklaşık 3.200 kelime ve kökten oluşur. RID ile ilgili temel sorun, temelde hiçbir araştırma desteğinin olmamasıdır (Zarrella’nın bir web sitesinden alıntı yapmasının sanki öyleymiş gibi görünmesine rağmen). Daha sonra kendisi ve diğer psikanalitik süreçler hakkında bir sürü kitap yazmaya devam eden tek bir profesyonel tarafından geliştirildi. Bir kitap, hakemli bir araştırma dergisi makalesi ile aynı değildir (araştırmacıların bildiği gibi) ve RID, herhangi bir ampirik destekten tamamen yoksundur. Bu, biz daha başlamadan analizin yarısının geçersiz olduğunu gösteriyor.

İkinci sözlük, Dilbilimsel Sorgulama ve Kelime Sayımı (LIWC), temelde bir terapi seansı veya iki kişi arasındaki konuşma gibi yazılı kelimeye - insanların yazılarına - veya sözlü kelimeye dayanır. Twitter'da bulunanlar gibi yapay olarak kısa 140 karakterlik girişleri analiz etmek için geliştirilmedi. İnsanlar, karakter sınırlaması nedeniyle tweet atarken kelimeleri kısaltıyorlar ve basit türetmenin, anında standart olmayan kısaltmalarla yazılmış tüm kelimeleri doğru bir şekilde analiz edeceği açık değil. Ya yeniden tweetler? Bir şeyi retweet eden bir kişi mutlaka "konuşuyor" değildir, bunun yerine başkasının sözlerine ağızlık görevi görür. Hizmet farklılaşıyor mu? Sorunun kapsamını bilmeden, analizinizin bir şekilde yapay olarak önyargılı olup olmadığı hakkında hiçbir fikriniz olmazdı (önce bu tür konuları özellikle çalışmadıysanız). Bu sorunlar çözülebilir, ancak bu hizmette ele alınmadı.

Zarrella’nın 1.000 tweet'i hızlı bir şekilde analiz etme ve içerdiği tüm metni birkaç saniye içinde bu iki sözlükle karşılaştırma yeteneği, dilbilimsel programlamanın takdire şayan bir başarısıdır. Bu durumda karşılaşılan zorluk şudur: "Analizin sonuçlarını düşünceli, sezgisel ve eyleme geçirilebilir bir şekilde nasıl sunabilirim?" Bu, TweetPsych'in teslim edemediği kısımdır.

Zarrella'nın psikoloji geçmişi çok az olduğu için, psikoloji sonuçları oldukça tatmin edici değil. "Meslek ve İş" gibi şeyleri içeren bir "özellikler" (kişiliğiniz mi? Tweetlemeniz mi?) Listesi alırsınız. Yanında yararlı bir açıklama, "İşler ve işin hakkında çok konuşuyorsun" ve bir puan var.

Tanrım, harika fikir için teşekkürler.

Skorun ne anlama geldiğine dair hiçbir fikriniz yok çünkü bunun bağlamı yok. 47.87 iş için iyi mi kötü mü? Ortalama nedir? Diğer özellikler arasında "Şimdiki Zaman", "Yukarı Doğru Hareket", "Olumlu Duygular", "Olumsuz Duygular" ve üç düzine başka kategori bulunur.

Analizin LIWC'ye dayanan bu kısmı da sadece LIWC'nin temel sözlüğü kadar iyidir. İş, başarı ve boş zaman gibi kategorilerin tümü LIWC'nin tanımlayabileceği "güncel endişeler" olsa da, "ilişki endişeleri" gibi bir kategoriye sahip değildir. Ama LIWC'yi bilmeden bunu bilemezdin. Analizi alan kişilere bahsetmek isteyeceğiniz bir şey olabilir. Politika, teknoloji ve ünlüler gibi düzenli olarak tweet atılan diğer popüler güncel içerikler de LIWC'nin bir parçası değildir. Yani yine, tüm konuştuğunuz bu olsa bile, analizde asla görünmeyecekler. Dolayısıyla, LIWC'nin ve dolayısıyla TweetPsych'in sağlayabileceği bilgiler sınırlıdır. (Özelleştirilmiş bir sözlüğün kullanılması bu sorunlardan bazılarını çözer, ancak bu TweetPsych'in sunduğu bir sözlük değildir.)

RID'den "İlkel, Kavramsal ve Duygusal İçerik" kesinlikle hiçbir açıklama içermiyor ve yine puanlarınızı herhangi bir bağlam veya anlayışa yerleştirecek hiçbir şey yok. Ancak başlangıçta bilimsel bir sözlük olmadığından, puanları hemen hemen göz ardı edebilirsiniz. Rastgele geliştirilebilirler ve aynı derecede yararlı bilgiler sağlayabilirdi.

Mevcut analizin son kısmı, herhangi bir sosyal ağ hizmetinin ortak bir bileşeni olan "Sizin gibi diğerleri" dir. Merakla, bu bileşen bu aracın ilk sürümünde eksikti. Yalnızca sizin tweetlediğiniz şeye dayanarak, "Sizin gibi düşünen bazı insanlar" iddiasında bulunur ve ardından size TweetPsych'e gitmiş ve analiz etmek için kullanıcı adlarını girmiş diğer kişilerin bir listesini sunar.

Tabii ki değil sizin gibi düşünen insanlar - sizin gibi tweet atanlar. Bu önemli bir ayrımdır. Her gün yazdıklarınızın çok küçük bir bölümünü analiz eden ve kullanıcılarının yaygın kısaltma kullanımından dolayı kusurlu olabilecek bir analize dayanan bir hizmet, elbette sizin ne yaptığınızı analiz ettiğini iddia edemez düşün.

TweetPsych ne kadar güvenilir? Bugün bu makaleyi yazarken, Dan Zarrella’nın tüm puanlarının tek bir tweet yüzünden değiştiğini fark ettim (bugün yalnızca bir kez tweet attı). "Meslek ve iş" puanı% 20 düştü ve "şimdiki zaman" puanı% 16 arttı. Soyut düşünce puanı% 16 düştü. Tüm bunlar tek bir tweet ile nasıl olabilir? Bir tweet - diğer 999 tweetine kıyasla - kişinin puanını bu kadar etkilememelidir. Başka bir şey olmadıkça.(2:55 pm ET'de alınan aşağıdaki ekran görüntüsünü, bugün 9:00 AM ET'de çekilen yukarıdaki ekran görüntüsü ile karşılaştırın.)

Zarrella’nın LIWC2007 programındaki son 1.000 tweetini analiz ederken aldığım sonuçlar çok farklı bir şeyi gösteriyor. Zarrella’nın metodolojisini bilmiyorum (paylaşmadığı için), ancak son 1.000 tweetinin metnini aldım ve bunları LIWC aracılığıyla iki şekilde işledim - köklü ve "olduğu gibi." Üretilen hiçbir şey, TweetPsych'te görünene yakın puan almaz. Bunun nedeni, sözlüğün daha eski bir sürümünü kullanması veya açıklamadığı halde TweetPsych'e eklediği bir tür dönüşüm değişkeni olabilir. Bu LIWC2007 analizinin sonuçlarını burada görüntüleyebilirsiniz. (TweetPsych'in vurguladığı sarı şeylerle vurguladım ve diğer yeşil alanların artık TweetPsych tarafından vurgulanmadığı; puanlamadaki önemli farklılığa dikkat edin.) Yine de, hizmette tam olarak neler olup bittiğini merak ediyorsun. Psikometrik güvenilirliği ve geçerliliği sorgulanabilirse, ne kadar yararlıdır?

TweetPsych, yalnızca bir tutam şüphecilikle bol miktarda olumlu basın alıyor. CNet'ten Josh Lowensohn, hizmet hakkında yazdı ve yalnızca geçerken şunları kaydetti: "Bu, psikoloji hakkında daha az, kişisel sözlüğünüz hakkında daha çok şey yapıyor, ancak sonuçlar hala oldukça eğlence." Yaşasın, eğlence! Ben Patterson, Yahoo! Tech, "Maalesef, TweetPsych'in dağıttığı psikolojik profiller," Hukuk ve Düzen: Suç Niyeti "konusunda yerleşik psikiyatristten duyabileceğiniz tutarlı, anlatı çeşitliliği değil. Yine de tutarlı bir anlatı değil, çok daha kullanışlı bazı tanımlanmamış kategorilerden daha mı? Muhabirlerin hiçbiri ya da Mashable hakkındaki orijinal makale (burada, sürpriz !, Zarrella katkıda bulunuyor), Zarrella'nın masaya getirdiği psikoloji geçmişinin eksikliğine dikkat etmedi. Hiçbiri, sonuçların yorumlarında neden bu kadar tatmin edici olmadığına dair noktaları birleştirmedi. Görünüşe göre teknoloji muhabirleri kendi olumlu basın bültenlerini yeniden dağıtmada harikalar, ancak böyle bir hizmetin iddia edilen bilimini araştıran gerçek gazeteciler olma konusunda o kadar da iyi değiller.

Tabii ki, Zarrella, hizmete çok fazla kafa yormadığını itiraf ediyor. NY Post, "İnsanlar kendilerini diğer insanlarla karşılaştırmayı ve başkalarının kafasına" girmeyi "seviyorlar Zarrella. "Terapi seansında duvardaki sinek gibi." Terapi seansı mı? Birinin "yukarı doğru hareket" ten bahsettiğini bulmak gerçekten bu kadar anlayışlı mı? Hizmeti çevrimiçi hale getirme telaşı içinde, Zarrella görünüşe göre, "Bu bilgilerden herhangi biri gerçekten yararlı mı?" Bugün var olan hizmet, çok az kişinin yeniden ziyaret edeceği bitmemiş bir düşüncedir.

TweetPsych, kısıtlamalarına rağmen, muhtemelen daha fazla geçerliliğe sahip olacak, kullanılabilir, yararlı ve eyleme geçirilebilir bilgiler sağlayan gelecekteki hizmetlere kapı açtı. Yalnızca bir kişinin tweet'lerini değil, Facebook profilinde, blogunda vb. Yer alan bilgileri aldığınızı ve hepsini tek bir büyük analiz motoruna yerleştirdiğinizi hayal edin ... Böyle bir motor, o zaman bir bireye dayalı gerçek psikolojik içgörü sağlama kapasitesine sahip olabilir çevrimiçi söylediklerine göre.

O zamana kadar, gerçekten “TweetFun!” Olarak adlandırılması gereken TweetPsych gibi birinci sınıf çalışmalarımız var. Çünkü oynamak gerçekten eğlenceli olsa da, hiç kimseye - en sığ tür dışında - çok az psikolojik içgörü sağlar.

(Tyler Hayes'in TweetPsych ile ilgili ek endişelerini buradan okuyabilirsiniz.)