tag YannLeCun

Self-Supervised Learning (Öz-Denetimli Öğrenme)

Bu sayfada YannLeCun (Self-Supervised Learning (Öz-Denetimli Öğrenme)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Öz-denetimli öğrenme (self-supervised learning, SSL), modelin etiketsiz verilerden kendi gözetim sinyalini ürettiği bir makine öğrenmesi paradigmasıdır. Veri setinin bir bölümü gizlenerek ya da bozularak yapay bir görev oluşturulur; model bu görevi çözerken verinin iç yapısını, anlamsal ilişkilerini ve temel örüntülerini öğrenir. İnsan etiketlemesine gerek duyulmadan büyük ölçekli veriyle eğitim yapılabilmesi bu yaklaşımı modern yapay zekanın temel taşlarından biri haline getirmektedir. Bu özellik özellikle etiketlemenin maliyetli olduğu tıbbi görüntüleme ve genomik gibi alanlarda kritik bir değer yaratır. Öncül görevler yönteme özgü çeşitlilik gösterir. Metin alanında kelime maskeleme ve sonraki cümle tahmini; görüntü alanında yamaların döndürülmesi, renk kanallarının gizlenmesi ve kontrast öğrenme; ses alanında zaman dilimlerinin karıştırılması veya konuşmacı tanıma görevleri öncül görevlerin başlıca örneklerindendir. Bu görevler aracılığıyla model, downstream görevlere aktarılabilecek zengin ve genelleştirilebilir temsiller öğrenir. Her görev türü modeli farklı soyutlama düzeylerine yönlendirir ve bu çeşitlilik genel amaçlı temsil kalitesini artırır. Öncül görevin seçimi doğrudan downstream performansını belirler. Contrastive öğrenme, öz-denetimli öğrenmenin görüntü alanındaki en etkili kollarından birini oluşturmaktadır. SimCLR, MoCo ve BYOL gibi çerçeveler, aynı görüntünün farklı augmentasyonlarını birbirine yakın, farklı görüntülerin temsillerini ise uzak tutacak biçimde modeli optimize eder. GPT ailesi ise bu paradigmayı dil alanında ileri taşıyarak web ölçekli ham metin üzerinden insan düzeyine yakın akıl yürütme kapasitesi geliştirdi. Öz-denetimli ön eğitim, günümüzde çoklu-modal modellerin de temelini oluşturmakta; görüntü, metin ve ses modalitelerini ortak bir temsil uzayında birleştiren sistemlerin geliştirilmesinde belirleyici rol oynamaktadır. Bu yaklaşımın biyoinformatik, robot öğrenmesi ve iklim modellemesi gibi farklı disiplinlere uyarlanması aktif araştırma konuları arasında yer almaktadır. CLIP gibi çerçeveler öz-denetimli öğrenmenin pratik gücünü açıkça ortaya koymaktadır.

self_improvement

Self-Supervised Learning (Öz-Denetimli Öğrenme)

Öz-denetimli öğrenme (self-supervised learning, SSL), modelin etiketsiz verilerden kendi gözetim sinyalini ürettiği bir makine öğrenmesi paradigmasıdır. Veri setinin bir bölümü gizlenerek ya da bozularak yapay bir görev oluşturulur; model bu görevi çözerken verinin iç yapısını, anlamsal ilişkilerini ve temel örüntülerini öğrenir. İnsan etiketlemesine gerek duyulmadan büyük ölçekli veriyle eğitim yapılabilmesi bu yaklaşımı modern yapay zekanın temel taşlarından biri haline getirmektedir. Bu özellik özellikle etiketlemenin maliyetli olduğu tıbbi görüntüleme ve genomik gibi alanlarda kritik bir değer yaratır. Öncül görevler yönteme özgü çeşitlilik gösterir. Metin alanında kelime maskeleme ve sonraki cümle tahmini; görüntü alanında yamaların döndürülmesi, renk kanallarının gizlenmesi ve kontrast öğrenme; ses alanında zaman dilimlerinin karıştırılması veya konuşmacı tanıma görevleri öncül görevlerin başlıca örneklerindendir. Bu görevler aracılığıyla model, downstream görevlere aktarılabilecek zengin ve genelleştirilebilir temsiller öğrenir. Her görev türü modeli farklı soyutlama düzeylerine yönlendirir ve bu çeşitlilik genel amaçlı temsil kalitesini artırır. Öncül görevin seçimi doğrudan downstream performansını belirler. Contrastive öğrenme, öz-denetimli öğrenmenin görüntü alanındaki en etkili kollarından birini oluşturmaktadır. SimCLR, MoCo ve BYOL gibi çerçeveler, aynı görüntünün farklı augmentasyonlarını birbirine yakın, farklı görüntülerin temsillerini ise uzak tutacak biçimde modeli optimize eder. GPT ailesi ise bu paradigmayı dil alanında ileri taşıyarak web ölçekli ham metin üzerinden insan düzeyine yakın akıl yürütme kapasitesi geliştirdi. Öz-denetimli ön eğitim, günümüzde çoklu-modal modellerin de temelini oluşturmakta; görüntü, metin ve ses modalitelerini ortak bir temsil uzayında birleştiren sistemlerin geliştirilmesinde belirleyici rol oynamaktadır. Bu yaklaşımın biyoinformatik, robot öğrenmesi ve iklim modellemesi gibi farklı disiplinlere uyarlanması aktif araştırma konuları arasında yer almaktadır. CLIP gibi çerçeveler öz-denetimli öğrenmenin pratik gücünü açıkça ortaya koymaktadır.

arrow_forward