Beyin Görüntüleri Öğrenme Stratejilerinin Nasıl Çalıştığını Gösteriyor
Değişen bir ortam karşısında bu ödüller hakkında doğru tahminlerde bulunabilmemiz için yenileme gereklidir.
Beynin bu süreci tam olarak nasıl yönettiği belirsizliğini korusa da, yeni çalışma, iki farklı öğrenme stratejisinin bir kombinasyonunun davranışımıza rehberlik ettiğini öne sürüyor.
Dergide çalışma hakkında bir makale görünecek Nöron.
Modelsiz öğrenme adı verilen kabul edilmiş bir öğrenme stratejisi, belirli bir durumda beklediğimiz ödül ile gerçekte aldığımız ödül arasındaki deneme yanılma karşılaştırmalarına dayanır.
Bu karşılaştırmanın sonucu, bu farka karşılık gelen bir "ödül tahmin hatası" nın oluşmasıdır.
Örneğin, bir ödül tahmin hatası, bir finansal yatırımın öngörülen parasal getirisi ile gerçek kazançlarımız arasındaki farka karşılık gelebilir.
Model tabanlı öğrenme adı verilen ikinci mekanizmada beyin, farklı durumlar arasındaki ilişkiyi tanımlayan çevrenin bilişsel bir haritasını oluşturur.
Caltech'te doktora sonrası araştırmacı ve lider Jan Gläscher, "Model tabanlı öğrenme, mevcut çevre tahmini göz önüne alındığında beynin yeni bir durumda şaşkınlık düzeyini temsil eden bir 'durum tahmin hatası'nın oluşturulmasıyla ilişkilidir," diyor. çalışmanın yazarı.
Gläscher, "İşten sonra eve giderken her zaman aynı rotayı takip ettiğiniz, ancak belirli bir günde normal yolun inşaat çalışmaları nedeniyle engellendiği bir durumu düşünün" diyor.
“Modelden bağımsız bir öğrenme sistemi çaresizce kaybolur; yalnızca geçmişte faydalı olan eylemleri gerçekleştirmekle ilgilidir, bu nedenle bu eylemler artık mevcut değilse, bir sonraki nereye gideceğine karar veremeyecektir.
"Ancak model tabanlı bir sistem, bilişsel haritasını sorgulayabilir ve alternatif bir rota kullanarak verimli bir sapma bulabilir."
"Daha basit modelden bağımsız öğrenme mekanizması iyi çalışılmış ve ödül tahmin hatalarından kaynaklanan temel öğrenme mekanizması nispeten iyi anlaşılmış olsa da, zengin uyarlanabilirliği ve esnekliği ile daha karmaşık model tabanlı öğrenme sisteminin altında yatan mekanizmalar , daha az anlaşılıyor ”diyor Caltech'te psikoloji profesörü John P. O'Doherty.
Gläscher, O'Doherty ve meslektaşları, bu iki öğrenme sisteminin nörolojik temellerini daha da karakterize etmek için, beynin hem ödül hem de durum tahmini hata sinyallerini ne zaman ve nerede hesapladığını ölçmelerine olanak tanıyan bilgisayar tabanlı bir karar verme görevi tasarladılar ve iki tür hatanın gerçekten farklı sinirsel imzalar üretip üretmediğini belirlemek için.
Görevde denekler, sanal bir ortamda grafik simgelerle gösterilen farklı "durumlar" arasında geçiş yapmalarına izin veren sol ve sağ hareket arasında seçim yapmak zorundaydı; bu süreç, basit bir video oyununda gezinmeye benzer.
Bu sanal ortamda yapılan her sol veya sağ seçim, konuyu yeni bir duruma yönlendirdi. O’Doherty, amaçlarının parasal bir ödül elde etmek için belirli bir hedef durumuna ulaşmak olduğunu ve "bu hedef durumuna geçme şanslarının büyük ölçüde yaptıkları sıralı seçimlerin belirli modeline bağlı olduğunu" açıklıyor.
Model tabanlı bir sistem, sanal ortamın yapısını öğrenebilir ve daha sonra bu bilgiyi, bir satranç oyuncusunun ihtiyaç duyulan sıralı satranç hamlelerini nasıl düşünmeye çalışacağına benzer bir şekilde ödül durumuna ulaşmak için gereken eylemleri hesaplamak için kullanabilir. bir maç kazanmak için.
Öte yandan, modelden bağımsız bir sistem, mevcut durumdaki sonuçlarını değerlendirmeden, yalnızca geçmişte ödül veren eylemleri körü körüne seçmeyi öğrenecektir.
On sekiz katılımcı, görevi öğrenirken fonksiyonel manyetik rezonans görüntüleme kullanılarak tarandı. Beyin taramaları, beynin ortasındaki ventral striatum adı verilen bir alanda - modelsiz öğrenme sırasında üretilen - ödül tahmin hatasının ayırt edici, önceden karakterize edilmiş sinirsel imzasını gösterdi.
Bununla birlikte, model tabanlı öğrenme sırasında, bir durum tahmin hatasının nöral işareti, serebral kortekste beynin yüzeyinde iki farklı alanda ortaya çıktı: intraparietal sulkus ve lateral prefrontal korteks.
Bu gözlemler, insan beyninde iki benzersiz hata sinyali türünün hesaplandığını, farklı beyin bölgelerinde gerçekleştiğini ve davranışa rehberlik etmek için ayrı hesaplama stratejilerini temsil edebileceğini göstermektedir.
Gläscher, "Modelden bağımsız bir sistem, son derece otomatikleştirilmiş ve tekrarlayan durumlarda çok etkili bir şekilde çalışır - örneğin, işten eve aynı rotayı düzenli olarak alırsam," diyor Gläscher, "model tabanlı bir sistem, ancak çok daha fazla beyin gerektirse de işlem gücü, bir engelin ardından yeni bir rota bulma ihtiyacı gibi yeni durumlara esnek bir şekilde uyum sağlayabiliyor. "
Gläscher, bu iki farklı öğrenme mekanizmasının insan davranışını kontrol etmede tamamlayıcı rollere hizmet ettiğini söylüyor.
"Beyinlerimizin işlem gücü sınırlı olduğundan, yaptığımız her şeyi kontrol etmek için daha yoğun hesaplama gerektiren model tabanlı sistemi kullanmak mantıklı değil. Bunun yerine, günlük davranışlarımızın çoğu için modelsiz sisteme güvenmek ve model tabanlı sistemi yalnızca yeni veya karmaşık durumlar için kullanmak daha iyidir. Daha fazla araştırma için önemli bir alan, davranışı kontrol etmek için bu sistemlerin birlikte nasıl etkileşime girdiğini yöneten faktörleri anlamaya çalışmak ve bunun beyinde nasıl uygulandığını belirlemek olacaktır. "
Kaynak: California Institute of Technology
