tag Zero-Shot
Zero-Shot Learning (Sıfır-Çekim Öğrenme)
Bu sayfada Zero-Shot (Zero-Shot Learning (Sıfır-Çekim Öğrenme)) etiketi ile işaretlenmiş 4 yapay zeka kavramını bulabilirsiniz.
Zero-Shot Learning (ZSL / Sıfır-Çekim Öğrenme), bir yapay zeka modelinin eğitim aşamasında hiç karşılaşmadığı sınıf veya görevler üzerinde başarılı tahminler yapabilmesi yeteneğidir. Klasik denetimli öğrenmede model, her sınıf için etiketli örneklerle eğitilir; zero-shot öğrenmede ise bu sınıfların örnekleri yoktur — model, sınıflar arasındaki kavramsal ilişkileri anlayarak bilinmeyen kategorilere genelleme yapar. Bu genellemeyi mümkün kılan temel mekanizma semantik bilgidir. Model, görünür (seen) sınıflar üzerinde eğitilirken bunların özelliklerini öğrenir — tüyler, gaga, kanat gibi nitelikleri. Test aşamasında, daha önce hiç görmediği bir kuş türü (görünmez sınıf) için model, "tüyü var + uzun gaga + su birikintisinde yaşar" gibi özelliklerin semantik kılavuzuyla doğru sınıflandırma yapar. Bu özellikler metin açıklamaları, özellik vektörleri veya bilgi grafları biçiminde sağlanabilir. Büyük dil modelleri (GPT, Claude, Gemini), zero-shot yeteneğini farklı bir mekanizma üzerinden gerçekleştirir. Ön eğitim sırasında petabaytlarca metin üzerinde öğrenilen geniş bilgi tabanı, modelin görev açıklamasını okuyarak görevi anlık olarak yürütmesine olanak tanır. "Bu metnin duygu tonunu belirle ve JSON formatında döndür" gibi bir yönerge, herhangi bir fine-tuning gerekmeksizin çalışır. Zero-shot öğrenme üç temel varyanta ayrılır. Standart zero-shot, tamamen yeni sınıflar üzerinde çalışır. Generalized zero-shot, hem görünür hem de görünmez sınıfları bir arada değerlendirerek daha gerçekçi bir senaryo sunar; bu durumda model, bilinen sınıflara aşırı eğilim gösterme (seen class bias) riski taşır. Few-shot learning ise her yeni sınıf için yalnızca birkaç örnek (1-5) kullanır; zero-shot'un doğrudan genellemesiyle kıyaslanınca tipik olarak daha yüksek doğruluk sağlar. CLIP (OpenAI, 2021) zero-shot öğrenmenin çığır açan örneğidir: görüntü ve metin eşleştirmesiyle önceden eğitilen bu model, ImageNet gibi veri setlerinde hiç fine-tuning yapmaksızın rekabetçi sonuçlar elde etmiştir. Benzer şekilde GPT-4 ve Claude, daha önce görmedikleri görevleri (kod çevirme, format dönüştürme, alan terminolojisi) sıfır örneğe dayanarak yürütebilmektedir. Bu yetenek, veri etiketlemenin pahalı veya imkânsız olduğu tıbbi teşhis, az-kaynaklı dil işleme ve endüstriyel anomali tespiti gibi alanlarda kritik pratik değer taşır.
In-Context Learning (Bağlam İçi Öğrenme)
In-context learning (bağlam içerisinde öğrenme), büyük dil modellerinin ağ ağırlıklarını hiçbir şekilde güncellemeksizin, yalnızca prompt içerisine yerleştirilen girdi-çıktı örneklerinden görevi anlayıp yeni bir girdi için doğru çıktı üretme yetenektir. Geleneksel makine öğrenmesinden kökten farklı bu yetenekte gradient hesaplama, geri yayılım veya ağırlık güncelleme yoktur; model, dikkat mekanizması aracılığıyla prompt'taki örnekleri bir tür acil hafıza gibi kullanır. In-context learning üç alt kategoride incelenir. Zero-shot learning, hiç örnek verilmeden yalnızca görev tanımı veya talimatla çalışır. One-shot learning, tek bir girdi-çıktı örneği ile görevi anlama girişimidir. Few-shot learning ise genellikle üç ila on arasında örnek kullanır ve GPT-3 makalesinin odaklandığı asıl yaklaşımdır. Bu üç durum aslında aynı mekanizmanın örnek sayısına göre özel halleridir. 2020 yılında yayınlanan GPT-3 makalesi, in-context learning'i yapay zeka araştırmasının odak noktalarından birine dönüştürdü. Makale, 175 milyar parametreli GPT-3'ün onlarca görevi örnek görmeksizin veya yalnızca birkaç örnekle gerçekleştirebildiğini sistematik olarak göstermiş; bu sonuç dil modellerinin yetenekleri konusundaki beklentileri kökten değiştirmiştir. Mekanizma sorusu hala tartışmalıdır. Bir yaklaşım, in-context learning'in gizli bir gradient descent gerçekleştirdiğini öne sürer: dikkat mekanizması, örneklerden üstkalık doğrusallık gibi temel kalıpları çıkartmak için fonksiyonel olarak gradyan hesaplamaya benzeyen bir süreç yürütmektedir. Alternatif yorum ise modelin eğitim sırasında on milyarlarca belgede gördüğünden benzer görevlerin farklı biçimlerini öğrenip bunları prompt'taki sinyal üzerine yeniden etkinleştirdiğini öne sürer. Uygulamada in-context learning prompt mühendisliği ile doğrudan bağlantılıdır. Hangi örneklerin seçildiğini, örneklerin sırası, örnek sayısı ve talimatın formatı model performansını onlu ölçekte etkiler. Chain-of-Thought prompting gibi teknikler, bu mekanizma üzerine akıl yürütme adımlarını yerleştirir. **Sık Sorulan Sorular** **In-context learning ile fine-tuning arasındaki fark nedir?** Fine-tuning ağ ağırlıklarını gerçekten günceller ve sürekli öğrenmeyi temsil eder. In-context learning ağırlıksız, çıkarım sırasında gerçekleşir; daha esnek ama daha az kalıcı öğrenme demektir. **Hangi modeller in-context learning'i iyi yapar?** Genel olarak büyük modeller daha iyidir; GPT-4, Claude ve Gemini gibi frontier modeller küçük modellerden belirgin şekilde üst performans gösterir. Model büyüklüğü ile in-context yetenek arasındaki ilişki yaklaşık log-doğrusaldır. **Örnek sırası önemli midir?** Evet, araştırmalar örnek sırasının performansı onlu yüzde kadar etkileyebildiğini göstermiştir. Optimal sıra veri kümesine ve göreve bağımlıdır; genel kural yoktur. **In-context learning'in sınırları nelerdir?** Bağlam penceresi sınırı, örnek sayısını küçük tutar. Çok adımlı akıl yürütme gerektiren veya sık güncellenen veri gerektiren görevlerde fine-tuning tipik olarak daha iyi sonuç verir.
CLIP (Karşıtlıklı Dil-Görüntü Ön Eğitimi)
CLIP (Contrastive Language-Image Pre-Training), OpenAI tarafından 2021 yılında geliştirilen ve doğal dil metinleri ile görüntüleri aynı anlambilimsel uzayda temsil etmeyi öğrenen çok modlu bir yapay zeka modelidir. Alec Radford ve arkadaşları tarafından "Learning Transferable Visual Models From Natural Language Supervision" başlıklı ICML 2021 makalesiyle tanıtılmıştır. Modelin eğitimi iki paralel kodlayıcı üzerine kuruludur: bir görüntü kodlayıcısı (ViT veya ResNet) ve bir metin kodlayıcısı (GPT-2 tabanlı Transformer). Her eğitim adımında N görüntü-metin çifti içeren bir mini-batch oluşturulur; N×N kosinüs benzerlik matrisi hesaplanır. Amaç, diyagonal elemanları (eşleşen çiftler) yakınlaştırırken diyagonal dışı elemanları (eşleşmeyen çiftler) uzaklaştırmaktır. Bu optimizasyon InfoNCE kayıp fonksiyonuyla yürütülür. 400 milyon görüntü-metin çifti içeren WebImageText (WIT) veri kümesi ve 32.768'lik büyük batch boyutu, modeli günümüz çok modlu yapay zekasının temel taşına dönüştürmüştür. CLIP'in en kritik yetkinliği sıfır-atış (zero-shot) transfer öğrenmesidir: modele hiç gösterilmemiş bir kategoriye ait görüntüler, yalnızca o kategorinin metin açıklaması aracılığıyla doğru biçimde sınıflandırılabilir. ImageNet'te herhangi ek eğitim yapılmadan %76,2 doğruluk elde edilmesi bu gücün somut kanıtıdır. Sınıflandırma sırasında potansiyel kategorilerin metin gömmeleri oluşturulur, görüntü gömüsüyle kosinüs benzerliği karşılaştırılır ve en yüksek skorlu kategori tahmin edilir. Uygulama alanları son derece geniştir. Stable Diffusion ve DALL-E gibi metin-görüntü üretim modellerinde CLIP metin kodlayıcısı görevini üstlenir; kullanıcının yazılı ifadesinin görsel üretimi nasıl yönlendireceğini belirler. Unsplash, Google Lens ve pek çok görsel arama motoru CLIP tabanlı anlamsal arama yürütür. Sosyal medya platformları zararlı içerik tespitinde CLIP'ten yararlanmaktadır. Ekosistem açısından OpenCLIP (LAION-2B ile eğitilmiş açık kaynak), SigLIP (sigmoid kayıp, küçük batch ile verimli eğitim), EVA-CLIP ve MetaCLIP öne çıkan türevlerdir. Bununla birlikte CLIP; nesne sayma, mekânsal ilişki anlama ve Türkçe gibi düşük kaynaklı dillerde görece sınırlı kalır. WinoGround ve ARO kıyaslamaları bu bileşimsel akıl yürütme açıklarını belgelemektedir.
SAM (SAM (Her Şeyi Segmentleyen Model))
SAM (Segment Anything Model — Her Şeyi Segmentleyen Model), Meta AI Research tarafından 2023'te yayımlanan ve görüntü segmentasyonunda sıfır-atış (zero-shot) genelleştirme yeteneği sunan temel bir bilgisayarlı görü modelidir. Geleneksel segmentasyon modelleri belirli nesne kategorileri için özel olarak eğitilirken SAM, yalnızca bir nokta, sınır kutusu veya metin istemi ile görüntüdeki herhangi bir nesneyi anında segmentleyebilir. Model, 11 milyondan fazla görüntü ve 1,1 milyardan fazla maske içeren SA-1B veri kümesiyle eğitilmiştir — segmentasyon alanındaki en büyük veri setlerinden biridir. SAM üç ana bileşenden oluşur: MAE ile önceden eğitilmiş ViT tabanlı bir görüntü kodlayıcısı, nokta, kutu veya metin girdileri için bir istem kodlayıcısı ve çakışan potansiyel maskeler üreten hafif bir maske dekoderi. Bu mimari, modelin bir görüntüdeki her nesneyi hiçbir kategori bilgisine gerek duymadan ayrıştırmasına imkân tanır. Meta, 2024'te SAM 2'yi yayımladı. SAM 2, SAM'ın video segmentasyonuna genişletilmiş versiyonudur; gerçek zamanlı nesne izleme ve kareler arası tutarlı maske üretimi sunar. Streaming memory mimarisi, daha önce görülmüş karelerin bilgisini saklar ve modelin nesneyi yeniden bulmasına olanak tanır. SAM ile klasik segmentasyon modelleri arasındaki temel ayrım zero-shot kapasitesidir: Mask R-CNN gibi modeller yalnızca eğitildikleri kategorileri tanırken SAM, hiç görmediği nesneleri bile isteme göre ayrıştırır. Bu özellik araştırmacılara ve geliştiricilere büyük esneklik kazandırır; özel veri etiketleme maliyeti olmadan yeni alanlara hızla uyum sağlanabilir. Kullanım alanları oldukça geniştir: tıbbi görüntülemede organ ve lezyon tespiti (MedSAM), otonom araçlarda sahne analizi, AR/VR içerik üretimi, uydu görüntülerinde arazi örtüsü haritalamas ve e-ticaret ürün görsellerinde arka plan kaldırma. Apache 2.0 lisansıyla açık kaynak olarak yayımlanan SAM, MobileSAM ve EfficientSAM gibi hafifletilmiş versiyonlarıyla kenar cihazlara da taşınabilir durumdadır.
Zero-Shot Learning (Sıfır-Çekim Öğrenme)
Zero-Shot Learning (ZSL / Sıfır-Çekim Öğrenme), bir yapay zeka modelinin eğitim aşamasında hiç karşılaşmadığı sınıf veya görevler üzerinde başarılı tahminler yapabilmesi yeteneğidir. Klasik denetimli öğrenmede model, her sınıf için etiketli örneklerle eğitilir; zero-shot öğrenmede ise bu sınıfların örnekleri yoktur — model, sınıflar arasındaki kavramsal ilişkileri anlayarak bilinmeyen kategorilere genelleme yapar. Bu genellemeyi mümkün kılan temel mekanizma semantik bilgidir. Model, görünür (seen) sınıflar üzerinde eğitilirken bunların özelliklerini öğrenir — tüyler, gaga, kanat gibi nitelikleri. Test aşamasında, daha önce hiç görmediği bir kuş türü (görünmez sınıf) için model, "tüyü var + uzun gaga + su birikintisinde yaşar" gibi özelliklerin semantik kılavuzuyla doğru sınıflandırma yapar. Bu özellikler metin açıklamaları, özellik vektörleri veya bilgi grafları biçiminde sağlanabilir. Büyük dil modelleri (GPT, Claude, Gemini), zero-shot yeteneğini farklı bir mekanizma üzerinden gerçekleştirir. Ön eğitim sırasında petabaytlarca metin üzerinde öğrenilen geniş bilgi tabanı, modelin görev açıklamasını okuyarak görevi anlık olarak yürütmesine olanak tanır. "Bu metnin duygu tonunu belirle ve JSON formatında döndür" gibi bir yönerge, herhangi bir fine-tuning gerekmeksizin çalışır. Zero-shot öğrenme üç temel varyanta ayrılır. Standart zero-shot, tamamen yeni sınıflar üzerinde çalışır. Generalized zero-shot, hem görünür hem de görünmez sınıfları bir arada değerlendirerek daha gerçekçi bir senaryo sunar; bu durumda model, bilinen sınıflara aşırı eğilim gösterme (seen class bias) riski taşır. Few-shot learning ise her yeni sınıf için yalnızca birkaç örnek (1-5) kullanır; zero-shot'un doğrudan genellemesiyle kıyaslanınca tipik olarak daha yüksek doğruluk sağlar. CLIP (OpenAI, 2021) zero-shot öğrenmenin çığır açan örneğidir: görüntü ve metin eşleştirmesiyle önceden eğitilen bu model, ImageNet gibi veri setlerinde hiç fine-tuning yapmaksızın rekabetçi sonuçlar elde etmiştir. Benzer şekilde GPT-4 ve Claude, daha önce görmedikleri görevleri (kod çevirme, format dönüştürme, alan terminolojisi) sıfır örneğe dayanarak yürütebilmektedir. Bu yetenek, veri etiketlemenin pahalı veya imkânsız olduğu tıbbi teşhis, az-kaynaklı dil işleme ve endüstriyel anomali tespiti gibi alanlarda kritik pratik değer taşır.