tag KoşulluÜretim

Bu sayfada KoşulluÜretim etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

ControlNet, Lvmin Zhang ve Maneesh Agrawala tarafından 2023 yılında yayımlanan "Adding Conditional Control to Text-to-Image Diffusion Models" makalesiyle tanıtılan bir sinir ağı mimarisidir. Stable Diffusion gibi önceden eğitilmiş diffüzyon modellerine, metin koşullamasına ek olarak yapısal görsel koşullar eklemeyi mümkün kılar; böylece üretilen görüntü üzerinde yalnızca metinle ifade edilemeyen kenar, şekil, poz ve derinlik bilgilerini doğrudan kullanıcı kontrolüne sunar. Mimari olarak ControlNet, mevcut UNet tabanlı diffüzyon modelinin kodlayıcı katmanlarını "kilitleyerek" kopyalar. Orijinal ağırlıklar donuk tutulur ve eğitim yalnızca kopyalanan yan daldaki ek katmanlarda gerçekleşir. Bu yaklaşım iki önemli avantaj sağlar: (1) Mevcut model bilgisi korunur — büyük ölçekli yeniden eğitim gerekmez; (2) Koşullama mekanizması ayrı tutulduğundan yeni kontrol türleri (farklı kenar dedektörleri, iskelet formatları vb.) modüler biçimde eklenebilir. ControlNet'in desteklediği başlıca koşullama türleri şunlardır: Canny kenar tespiti (nesne sınırlarını tel kafes olarak aktarma), HED ve MLSD çizgi dedektörleri, OpenPose insan iskelet pozu (vücut anahtar noktaları), Midas derinlik haritası (ön plan/arka plan mesafesi), normal harita (yüzey yönelimi), segmentasyon haritası (SemanticSegmentation) ve scribble (serbest çizim). Kullanıcı bu koşullardan bir veya birkaçını birleştirebilir. Teknik uygulama açısından ControlNet, diffüzyon modelinin her adımında gürültü tahminini iki farklı girdiyle besler: metin gömmeleri ve koşul görüntüsü. Yan ağın çıktıları "sıfır evrişim" (zero convolution) katmanları aracılığıyla ana ağa eklenir; eğitim başında bu katmanlar sıfır ağırlıkla başlar, böylece model eğitim öncesinde orijinal çıktıyı bozmaz. Pratik kullanımda ControlNet, AUTOMATIC1111 ve ComfyUI gibi Stable Diffusion arayüzleriyle entegre çalışır. Karakter tutarlılığı, mimari görselleştirme, animasyon kare-kare çalışma ve kolaj-fotoğraf dönüşümü gibi profesyonel üretim senaryolarında yaygın kullanım bulur. Diffusers kütüphanesi üzerinden Python ile de kolayca erişilebilir.

code_blocks

ControlNet (ControlNet)

ControlNet, Lvmin Zhang ve Maneesh Agrawala tarafından 2023 yılında yayımlanan "Adding Conditional Control to Text-to-Image Diffusion Models" makalesiyle tanıtılan bir sinir ağı mimarisidir. Stable Diffusion gibi önceden eğitilmiş diffüzyon modellerine, metin koşullamasına ek olarak yapısal görsel koşullar eklemeyi mümkün kılar; böylece üretilen görüntü üzerinde yalnızca metinle ifade edilemeyen kenar, şekil, poz ve derinlik bilgilerini doğrudan kullanıcı kontrolüne sunar. Mimari olarak ControlNet, mevcut UNet tabanlı diffüzyon modelinin kodlayıcı katmanlarını "kilitleyerek" kopyalar. Orijinal ağırlıklar donuk tutulur ve eğitim yalnızca kopyalanan yan daldaki ek katmanlarda gerçekleşir. Bu yaklaşım iki önemli avantaj sağlar: (1) Mevcut model bilgisi korunur — büyük ölçekli yeniden eğitim gerekmez; (2) Koşullama mekanizması ayrı tutulduğundan yeni kontrol türleri (farklı kenar dedektörleri, iskelet formatları vb.) modüler biçimde eklenebilir. ControlNet'in desteklediği başlıca koşullama türleri şunlardır: Canny kenar tespiti (nesne sınırlarını tel kafes olarak aktarma), HED ve MLSD çizgi dedektörleri, OpenPose insan iskelet pozu (vücut anahtar noktaları), Midas derinlik haritası (ön plan/arka plan mesafesi), normal harita (yüzey yönelimi), segmentasyon haritası (SemanticSegmentation) ve scribble (serbest çizim). Kullanıcı bu koşullardan bir veya birkaçını birleştirebilir. Teknik uygulama açısından ControlNet, diffüzyon modelinin her adımında gürültü tahminini iki farklı girdiyle besler: metin gömmeleri ve koşul görüntüsü. Yan ağın çıktıları "sıfır evrişim" (zero convolution) katmanları aracılığıyla ana ağa eklenir; eğitim başında bu katmanlar sıfır ağırlıkla başlar, böylece model eğitim öncesinde orijinal çıktıyı bozmaz. Pratik kullanımda ControlNet, AUTOMATIC1111 ve ComfyUI gibi Stable Diffusion arayüzleriyle entegre çalışır. Karakter tutarlılığı, mimari görselleştirme, animasyon kare-kare çalışma ve kolaj-fotoğraf dönüşümü gibi profesyonel üretim senaryolarında yaygın kullanım bulur. Diffusers kütüphanesi üzerinden Python ile de kolayca erişilebilir.

arrow_forward