TutorMoments: Yapay Zeka Öğretmenleri Ne Zaman Yardım Edeceğini Biliyor mu?
Hugging Face'in yeni çerçevesi TutorMoments, yapay zeka öğretmenlerinin öğrencilere ne zaman yardım edip ne zaman geri çekileceğini ne kadar iyi dengelediğini ölçüyor. Gerçek matematik derslerinden alınan verilerle geliştirilen bu yöntem, modellerin aşırı yardım etme eğilimini ortaya koyuyor ve eğitimdeki bu kritik dengeyi iyileştirmek için önemli ipuçları sunuyor.
Zorlu Denge: Yardım ve Geri Çekilme
Eğitim dünyasında, bir öğretmenin en zor kararlarından biri öğrenciye ne zaman yardım edip ne zaman kendi başına bırakması gerektiğidir. İyi bir matematik öğretmenine soru sorduğunuzda, muhtemelen size "Problemin ne sorduğunu biliyor musun?" gibi bir soruyla karşılık verir. Bu, öğretmenin bilgiyi ölçme ve anında doğru desteği sağlama stratejisinin bir parçasıdır. Hemen cevabı söylemek, öğrencinin öğrenme sürecindeki entelektüel çabayı elinden alır. Bazen destek gerekirken, bazen de öğrenciyi daha derin düşünmeye teşvik etmek en etkili yöntemdir. Ancak dil modelleri (LLM'ler) yardımsever olacak şekilde eğitildikleri için, genellikle zor kısmı sizin yerinize yapma eğilimindedir: kavramı açıklamak, adımları sıralamak ve cevaba götürmek. Bu durum, öğrenme araştırmalarının güçlü anlayışla ilişkilendirdiği verimli mücadeleyi (productive struggle) kısaltabilir. Öğrenci, problemi kendi başına çözmeye çalışmak yerine, modelin adım adım çözümünü izleyerek pasif bir alıcı konumuna düşer. Oysa öğrenme, zorluklarla başa çıkarken gerçekleşir; bu nedenle doğru zamanda verilen ipucu ile öğrencinin kendi çabasını sürdürmesi arasındaki denge kritik önem taşır.
Gerçek Derslerden Ölçüm
TutorMoments, bu gerilimi ölçmek için gerçek birebir matematik derslerinden alınan verileri kullanıyor. Yayınlanan TutorMoments-Preview veri seti, ABD'de 2-7. sınıf öğrencileriyle yapılan 462 anonimleştirilmiş, metin tabanlı ders kaydını içeriyor. Bu kayıtlar, çoğunlukla Title I okullarına devam eden öğrencilere hizmet veren yüksek dozda özel ders programından geliyor. Veriler, önce sağlayıcı tarafından, ardından ek bir matematik odaklı işlem hattıyla kimlik bilgilerinden arındırılmış. 27 ABD'li öğretmen, 1.500'den fazla önemli anı işaretledi ve binlerce serbest metin açıklaması ekledi. Öğretmenler, derslerdeki kritik karar noktalarını belirledi: öğrenciye problemi daha erişilebilir kılmak (scaffolding) ile daha zorlu düşünmeye teşvik etmek (rigor) arasında seçim yapılması gereken anlar. Her önemli an, öğretmenin ne yaptığını ve öğrencinin nasıl tepki verdiğini içeren ayrıntılı açıklamalarla etiketlendi. Bu sayede, her karar noktası için öğretmen görüşü temel doğru (ground truth) olarak kullanıldı.
Model Davranışını Ölçme Yöntemi
TutorMoments, bir ders kaydını bu kritik anlardan birinde durduruyor ve bir dil modelini simüle edilmiş bir öğrenciyle beş tur boyunca öğretmen olarak devraldığı bir replikasyon süreci başlatıyor. Simüle edilen öğrenci, "oracle" olarak adlandırılan ve gerçek bir öğrencinin olası tepkilerini taklit eden bir modeldir. Ardından, bir LLM tabanlı puanlama sistemi her replikasyonu üç açıdan değerlendiriyor: (1) öğrenci desteğe ihtiyaç duyduğunda scaffolding yapıp yapmadığı, (2) öğrenci daha fazla zorluğa hazır olduğunda rigor uygulayıp uygulamadığı ve (3) aşırı scaffolding'den (gereğinden fazla desteği azaltma) kaçınıp kaçınmadığı. Öğretmenlerin çoğunluk etiketleri temel doğruyu oluşturuyor; örneğin, üç öğretmenden ikisi rigor diyorsa, o an için doğru hamle rigor olarak kabul ediliyor. Ayrı bir sınıflandırıcı, modelin hamlesinin bu doğruyla uyumlu olup olmadığını belirliyor. Puanlama, her modelin uygun hamleyi yaptığı anların oranını 0 ile 1 arasında bir değerle ölçüyor.
Sonuçlar ve Bulgular
Yedi farklı LLM, iki farklı prompt ile test edildi: biri hiçbir yönlendirme içermeyen düz prompt, diğeri ise scaffolding, aşırı scaffolding ve rigor arasındaki dengeyi açıkça belirten değerlendirme bilinçli prompt. Sonuçlar, düz prompt altında modellerin aşırı yardım etme eğiliminde olduğunu ve öğrencileri derin düşünmeye nadiren teşvik ettiğini gösterdi. Örneğin, modellerin uygun rigor puanları düşükken, aşırı scaffolding'den kaçınma puanları da zayıftı. Değerlendirme bilinçli prompt, tüm modellerin puanlarını artırdı ancak insan öğretmenlerin tutarlılığına ulaşamadı. İnsan öğretmenler aynı puanlama sistemiyle değerlendirildiğinde, uygun scaffolding için 0.458, uygun rigor için 0.182 ve aşırı scaffolding'den kaçınma için 0.496 puan aldı. Bu puanlar, modellerin değerlendirme bilinçli puanlarının altında kalıyor. Ancak bu, yapay zeka öğretmenlerinin insanlardan daha iyi olduğu anlamına gelmiyor; veri seti, öğretmenlerin daha iyi olabileceği anlara odaklandığı için bu puanlar ideal uygulamayı değil, kaçırılan fırsatları yansıtıyor. Ayrıca, modellerin rigor uygularken kullandıkları stratejiler insanlara göre daha sınırlı; çoğunlukla öğrenciden açıklama isterken, insan öğretmenler daha çeşitli yöntemler kullanıyor ve öğrencileri bağımsız çalışmaya daha sık teşvik ediyor.
Neden Önemli?
TutorMoments, eğitimde yapay zeka kullanımına yönelik önemli bir adım. Türkiye'de de eğitim teknolojileri hızla gelişiyor ve kişiselleştirilmiş öğrenme deneyimleri sunan yapay zeka destekli uygulamalar yaygınlaşıyor. Bu çerçeve, yapay zeka öğretmenlerinin yalnızca doğru cevabı vermek yerine, öğrencinin anlık ihtiyacına göre destek sağlamasını teşvik ediyor. Eğitimciler ve geliştiriciler, TutorMoments sayesinde modellerin pedagojik kararlarını daha iyi değerlendirebilir ve öğrencilerin öğrenme sürecini destekleyen, onların yerine iş yapmayan daha etkili yapay zeka öğretmenleri geliştirebilir. Bu, özellikle Türkiye'deki eğitimde fırsat eşitliği ve kişiselleştirilmiş öğrenme hedefleriyle örtüşen bir yaklaşım sunuyor. Ayrıca, açık kaynak olarak yayınlanan veri seti ve kodlar, Türkiye'deki araştırmacıların kendi dillerinde ve müfredatlarında benzer değerlendirmeler yapmasına olanak tanıyabilir. Bu sayede, Türkçe eğitim içerikleri için optimize edilmiş yapay zeka öğretmenleri geliştirilirken, öğrencilerin ihtiyaçlarına daha duyarlı sistemler tasarlanabilir.