ComfyUI, Stable Diffusion modellerini modüler bir şekilde kullanmamızı sağlayan açık kaynaklı bir arayüzdür. Görsel üretim sürecini küçük, özelleştirilebilir adımlara bölebildiğimiz için her adım bir node olarak temsil edilir ve bu node'ları birbirine bağlayarak iş akışları oluştururuz. Bu özelleştirilebilir yapı sayesinde karmaşık görsel üretim süreçlerini otomatize edebiliyoruz.
Örneğin, Scarlett Johansson'ın domalmış bir resmini yapmak istediğinizde, Scarlett'in portresini bir IP adapter'ına bağlıyorsunuz. ControlNet'i ise domalmış bir fotoğrafın depth mask'i ile çakıyorsunuz. Bam, domalan Scarlett Johansson resmini elde edersiniz. Bu şekilde prompt yazmaya uğraşmak yerine daha stabil görseller üretebilirsiniz.
ControlNet, görsel üretim sürecinde daha fazla kontrol sağlayan bir koşullandırma yöntemidir. Pose estimation, depth map, Canny edge gibi çeşitli koşullandırma tiplerini destekler. Mevcut bir görselin yapısını koruyarak yeni görseller üretmemizi sağlar. Örneğin, bir insan pozunu koruyarak farklı kıyafetler veya karakterler üretebiliyoruz.
IP Adapter, metin promptlarına ek olarak görsel promptlar kullanmamızı sağlar. Referans görsellerin stil, renk veya içerik özelliklerini yeni üretilen görsellere aktarabilir. Bu sayede daha spesifik ve kontrollü görsel üretim mümkün olur.
LoRA, low-rank adaptation'ın kısaltmasıdır. Mevcut büyük dil modellerini veya görsel üretim modellerini özel görevler için ince ayar yapmamızı sağlar. Göreceli olarak az veri ve hesaplama gücüyle modellere yeni yetenekler kazandırabiliriz. Örneğin, belirli bir sanat stilini veya spesifik bir karakteri öğretebiliyoruz.
Örneğin, Scarlett Johansson'ın domalmış bir resmini yapmak istediğinizde, Scarlett'in portresini bir IP adapter'ına bağlıyorsunuz. ControlNet'i ise domalmış bir fotoğrafın depth mask'i ile çakıyorsunuz. Bam, domalan Scarlett Johansson resmini elde edersiniz. Bu şekilde prompt yazmaya uğraşmak yerine daha stabil görseller üretebilirsiniz.
ControlNet, görsel üretim sürecinde daha fazla kontrol sağlayan bir koşullandırma yöntemidir. Pose estimation, depth map, Canny edge gibi çeşitli koşullandırma tiplerini destekler. Mevcut bir görselin yapısını koruyarak yeni görseller üretmemizi sağlar. Örneğin, bir insan pozunu koruyarak farklı kıyafetler veya karakterler üretebiliyoruz.
IP Adapter, metin promptlarına ek olarak görsel promptlar kullanmamızı sağlar. Referans görsellerin stil, renk veya içerik özelliklerini yeni üretilen görsellere aktarabilir. Bu sayede daha spesifik ve kontrollü görsel üretim mümkün olur.
LoRA, low-rank adaptation'ın kısaltmasıdır. Mevcut büyük dil modellerini veya görsel üretim modellerini özel görevler için ince ayar yapmamızı sağlar. Göreceli olarak az veri ve hesaplama gücüyle modellere yeni yetenekler kazandırabiliriz. Örneğin, belirli bir sanat stilini veya spesifik bir karakteri öğretebiliyoruz.