Sinirsel Stil Transferi

#neural-style-transfer #görüntü işleme #CNN #stil transferi #üretken yapay zeka #derin öğrenme

Bir görüntünün içeriğini koruyarak başka bir görüntünün sanatsal stilini ona aktaran derin öğrenme tabanlı görüntü işleme tekniği.

Sinirsel stil transferi, bir kaynak görüntünün fotografik içeriğini (nesneler, yapı, kompozisyon) korurken başka bir referans görüntünün sanatsal stilini (fırça darbeleri, renk paleti, doku) bu görüntünün üzerine aktaran bir derin öğrenme tekniğidir. Temel yaklaşım, Leon Gatys, Alexander Ecker ve Matthias Bethge tarafından 2015 yılında "A Neural Algorithm of Artistic Style" başlıklı makaleyle ortaya konulmuştur. Yöntemde ImageNet veri kümesi üzerinde önceden eğitilmiş VGG-16 gibi derin bir evrişimsel sinir ağı (CNN) bir özellik çıkarıcı olarak kullanılır; ancak sinir ağı yeniden eğitilmez. Teknik, iki ayrı kayıp fonksiyonunu optimize ederek çalışır: içerik kaybı ve stil kaybı. İçerik kaybı, üretilen görüntünün CNN'in derin katmanlarındaki özellik haritalarının içeriği alınan orijinal görüntünün özellik haritalarından çok sapmamasını sağlar. Stil kaybı ise CNN'in çeşitli katmanlarındaki özellik haritalarının Gram matrislerini karşılaştırır; Gram matrisi, özellik haritaları arasındaki korelasyonları yakalayarak stili dokusal ve renk açısından temsil eder. Klasik Gatys yönteminin en büyük kısıtlaması, tek bir görüntü için dakikalarca sürebilen iteratif optimizasyon sürecidir. Bu sorunu çözmek için Justin Johnson ve arkadaşları 2016 yılında bir görüntü dönüştürücü ağ eğiterek tek ileri besleme geçişinde anlık stil uygulayabilen Hızlı Sinirsel Stil Transferini (Fast NST) geliştirmiştir. Daha sonra Huang ve Belongie tarafından önerilen Uyarlamalı Örnek Normalizasyonu (AdaIN) ise herhangi bir stil görüntüsünün tek bir modelle anlık aktarılmasını mümkün kılan önemli bir ilerleme olmuştur. Günümüzde Stable Diffusion ve ControlNet gibi difüzyon tabanlı modeller, NST'nin pek çok pratik kullanım alanının yerini almaya başlamış olsa da sinirsel stil transferi, derin öğrenmede üretken görüntü işlemenin tarihsel açıdan kritik bir kilometre taşı olmayı sürdürmektedir.

Nasıl Çalışır — Temel Mekanizma

Sinirsel stil transferinin temeli, ImageNet üzerinde eğitilmiş derin CNN'lerin görüntülerin hem içeriğini hem de stilini hiyerarşik özellikler aracılığıyla temsil ettiğinin keşfedilmesidir. Yaygın kullanılan VGG-16 ağı piksel düzeyinden başlayıp kenarlar, dokular ve nesne parçalarına doğru ilerleyen katmansal gösterimler oluşturur. NST'de ağ yeniden eğitilmez; bunun yerine dondurulmuş bir özellik çıkarıcı gibi davranır. İçerik görüntüsü ve stil görüntüsünün her ikisi de bu ağdan geçirilir ve farklı katmanlardaki aktivasyon değerleri kaydedilir. Üretilecek görüntü rastgele gürültüden başlayarak gradyan inişiyle adım adım her iki kaynağa da uyan bir çıktıya dönüştürülür. Katman seçimi sonucu doğrudan etkiler: içerik için derin katmanlar (örn. VGG'de conv4_2) yüksek seviyeli yapıyı yakalarken, stil için birden fazla katmanda hesaplanan Gram matrisleri (conv1_1'den conv5_1'e kadar) dokusal özellikleri ve renk istatistiklerini birlikte temsil eder.

Kayıp Fonksiyonları — Matematiksel Çerçeve

İçerik kaybı, seçilen bir CNN katmanındaki üretilen görüntünün özellik haritalarının içerik görüntüsününkilerle ortalama karesel hatasını (MSE) hesaplar. Bu fonksiyon sayesinde üretilen görüntü, içerik görüntüsündeki nesnelerin mekansal düzenlenmesini korur. Stil kaybı ise özellik haritaları arasındaki korelasyon istatistiklerini, yani Gram matrislerini karşılaştırır. Gram matrisi, uzamsal konumdan bağımsız doku bilgisini kodlayan n×n simetrik bir matristir; burada n ilgili katmandaki kanal sayısıdır. Stil kaybı birden fazla katmandaki Gram matrislerini karşılaştırdığından hem yerel dokuları hem de küresel renk istatistiklerini yakalar. Nihai kayıp, içerik ve stil kayıplarının ağırlıklı toplamıdır. Bu iki ağırlık arasındaki oranın ayarlanması kritik bir tasarım kararıdır: yüksek stil ağırlığı plastisiteyi artırırken içerik yapısını bozabilir; yüksek içerik ağırlığı ise stilin yerleştirilmesini engeller.

Yöntem Varyantları

Orijinal Gatys yönteminde optimizasyon doğrudan piksel uzayında gerçekleşir: L-BFGS gibi bir gradyan inişi algoritması yüzlerce iterasyon boyunca çalıştırılır. Bu yaklaşım yüksek kaliteli sonuçlar üretir; ancak GPU'da bile dakikalar alabilir. Hızlı NST'de (Johnson et al., 2016) stil transferi bir ileri besleme problemi olarak yeniden çerçevelendi: belirli bir stil için önceden eğitilmiş görüntü dönüştürücü ağ, işlemi gerçek zamanlı hıza taşıdı. Her stil için ayrı bir model eğitilmesi gerekliliği tek dezavantajıdır. AdaIN (Huang & Belongie, 2017) ise her katmanın aktivasyonlarının ortalamasını ve varyansını stil görüntüsününkiyle hizalayarak stili özellik normalizasyonu üzerinden aktarır. Herhangi bir stil görüntüsünü tek bir modelle gerçek zamanlı uygulamasına olanak tanımasıyla büyük bir sınırlamayı ortadan kaldırdı. StyleGAN ve pek çok modern üretken model, AdaIN'in bu çekirdek fikrini benimsedi.

Uygulamalar ve Sınırlılıklar

Sinirsel stil transferinin ticari kullanımı başlangıçta Prisma ve Artisto gibi akıllı telefon uygulamalarında ve Snapchat/Instagram gibi sosyal medya filtrelerinde ortaya çıktı. Bunun ötesinde NST; oyun varlık tasarımı, film konsept sanatı ve müze deneyimleri gibi alanlarda da uygulandı. Klasik NST'nin temel sınırlılıkları şunlardır: hesaplama maliyeti yüksektir; içerik ve stil arasındaki denge hassastır (çok agresif stil uygulaması içeriği tanınamaz hale getirebilir); yüksek stil ağırlıklarında görsel artifakt üretme eğilimi vardır. Video için kare kare uygulama ise zamansal tutarsızlık (titreme) sorununu beraberinde getirir. Difüzyon tabanlı yöntemler (Stable Diffusion + ControlNet, IP-Adapter), 2022-2023'ten itibaren görsel stil referanslarını semantik anlamayla birleştirerek NST'nin ulaşamadığı tutarlılık ve kontrol düzeyine ulaştı. Buna karşın NST, düşük gizlilik endişesi gerektiren ve tamamen yerel çalışan sade stil aktarımı için güncelliğini korumaktadır.

Tarihsel Önemi ve Mirası

Sinirsel stil transferi, teorik bir yapay zeka tekniğinin estetik açıdan ilgi çekici görsel çıktılara dönüştürülebileceğinin erken ve etkili bir kanıtlayıcısı oldu. CNN'lerin yalnızca nesne tanıma için değil, sanatsal tarzdaki incelikleri kodlamak için de kullanılabileceğini ortaya koyarak GAN'lar ve difüzyon modelleri gibi üretken modeller üzerinde çalışacak araştırmacılara ilham kaynağı oldu. GAN tabanlı stil transferi yöntemleri (CycleGAN, Pix2Pix), NST ile benzer hedefleri paylaşır; ancak optimizasyonu parametrik bir model eğiterek gerçekleştirir. CycleGAN özellikle çiftlenmemiş görüntü-görüntü çevirisine olanak tanıyarak birçok NST uygulamasının yerini aldı. NST'yi modern difüzyon araçlarından ayıran temel fark; anlamsal anlama düzeyi, öğrenilmiş genellemeler ve kullanıcı kontrolüdür. NST görece mekanik bir istatistik eşleme yöntemi uygularken Stable Diffusion veya DALL-E gibi araçlar 'Empresyonist tabloya benzer şekilde' gibi yüksek düzeyli talimatları anlayabilir. Bununla birlikte NST, derin öğrenmede üretken görüntü işlemenin tarihsel açıdan kritik bir kilometre taşı olmayı sürdürmektedir.