Basit bir satır yazıp, göz açıp kapayıncaya kadar bir şeye dönüşmesinin ne kadar inanılmaz olacağını hiç düşündünüz mü? Fotogerçekçi ve tutarlı videoBu bir bilim kurgu değil, Google Lumiere'in vaadi; görsel yaratımın kalıplarını kıran, son teknoloji ürünü bir yapay zekâ modeli. uzay-zamansal yayılımTeknoloji sektöründe yer alan veya inovasyona ilgi duyan herkes için, bu sıçramayı anlamak, günümüzün dijital ortamında geride kalmamak için çok önemlidir.
Birçok kişinin sandığının aksine, statik görüntülere hareket ekleyen bir programdan bahsetmiyoruz. Burada ele aldığımız şey, sıfırdan tasarlanmış mimari Nesnelerin hem zaman hem de mekândaki yer değiştirmesinin fiziğini anlamak. Google laboratuvarlarında tasarlanan bu proje, net bir hedefle doğdu: ani sıçramaları ortadan kaldırın Ve yapay zeka tarafından üretilen videoları şimdiye kadar biraz gerçeküstü kılan o garip hareketler.
Lumière'in büyüsü tam olarak nedir?
Üretken yapay zekâ videolarının en büyük sorunu tutarlılık eksikliğiydi. Bir nesnenin şeklinin bir saniyeden diğerine değiştiğini veya bozulduğunu görürdünüz. Lumiere bunu çözüyor çünkü... tüm bilgileri eş zamanlı olarak işlerYapay zekanın onuncu kareye ulaştığında ilk karenin nasıl göründüğünü "unutmasını" engeller. Bu, şunu sağlar: görsel istikrar Tamamen aynı kalsın: Eğer bir kedi bahçede koşarsa, video boyunca aynı kedi olarak kalacak, ortasında başka bir şeye dönüşmeyecek.
Teknik anahtar sistemde yatıyor. Uzay-Zaman-U-Ağı (STUNet)Geleneksel araçların çoğu video karelerini tek tek (klasik animasyon stili) oluştururken, Lumiere video karelerini tek bir karede oluşturur. tüm işlem dizisi tek adımdaBu yaklaşım, modelin pikselleri ve zamanı eş zamanlı olarak analiz etmesi ve su akışı veya düşen nesnelerin ağırlığı gibi temel fizik kavramlarını anlaması sayesinde akıcı ve doğal bir harekete olanak tanır.
Yaratıcı yetenekler ve düzenleme araçları
Yaratıcı departmanların sunduğu olanaklar, açıkçası, inanılmaz. En önemli işlevlerinden biri de şudur: videoya metinBurada yapay zekanın, sahnenin detaylı bir tanımını yapması bile onu hayata geçirmesi için yeterli. Ancak bununla da kalmıyor; aynı zamanda fotoğraflara hayat vermekDurağan bir görüntüyü, bulutların hareket ettiği veya nehrin doğal bir şekilde aktığı bir videoya dönüştürmek.
Ayrıca Lumiere, otomatik post-prodüksiyon konusunda da üstün performans sergiliyor. Aşağıdaki gibi görevlere olanak tanıyor: onarım ve seçici düzenleme Metin komutlarını kullanarak. Örneğin, önceden kaydedilmiş bir videoda yalnızca bir kişinin kıyafetinin rengini değiştirmesini veya sahnenin geri kalanını aynı bırakırken gözlük veya taç gibi aksesuarlar eklemesini isteyebilirsiniz. tamamen sağlam ve tutarlıHatta fotoğrafın geri kalanı sabit kalırken yalnızca belirli bir alanını hareketlendirerek sinemagraflar oluşturmanıza bile olanak tanır.
Teknik analiz ve performans
Sayılar konusuna gelince, sistem yaklaşık olarak şu kadar video klibi üretebiliyor: beş saniyeSaniyede 16 kare hızında ve 1.024 x 1.024 piksel çözünürlükte 80 kare üretiyor. Google bu sonuçları "düşük çözünürlüklü" olarak değerlendirse de, cilt dokularındaki, metalurjideki ve diğer unsurlardaki gerçekçilik dikkat çekiyor. dinamik aydınlatma yönetimi Bu şaşırtıcı. Bunu başarmak için model, büyük ölçekli bir dağıtım ile eğitildi. 30 milyon video Metinsel açıklamalarla birlikte.
Rakiplerle karşılaştırma ve bulunabilirlik
Diğer devlerle karşılaştırdığımızda ilginç nüanslar görüyoruz. Oysa OpenAI'den Sora Lumiere, daha uzun videolar oluşturmasıyla öne çıkarken, tek adımlı mimarisinin verimliliğine ve düzenleme hassasiyetine odaklanıyor. Pist veya PikaGoogle'ın önerisi, daha fantastik tarzlardan biraz uzaklaşarak, profesyonel ve pazarlama ortamı için ideal olan, daha fotoğrafik ve teknik bir gerçekçiliği tercih ediyor.
Şimdi de işin ince detaylarına gelelim: Halka açık değildir. Genel olarak, şu anda kontrollü test aşamasında olan bir araştırma projesidir. Google, güvenlik filtrelerini iyileştirmek ve olası sorunların ortaya çıkmasını önlemek için yayınlama konusunda çok temkinli davranmaktadır. deepfake'ler veya dezenformasyonSöylentilere göre, bazı özellikler yakın gelecekte YouTube veya Google Workspace'e entegre edilebilir.
Sanayi ve etik üzerindeki etkisi
Bu teknolojinin kullanıma girmesi sinemada köklü bir değişime yol açacak ve yönetmenlerin yeni planlar yapmasına olanak sağlayacaktır. sahne önizlemesi Film çekimlerinden önce çok ucuza mal olacak. Pazarlamada, markalar otomatik olarak son derece kişiselleştirilmiş reklamlar oluşturabilecek. Ancak bu güç, beraberinde büyük bir sorumluluk da getiriyor ve sektörü yaratmaya zorluyor. filigranlar ve doğrulama sistemleri Gerçeği yapay olarak üretilenden ayırt etmek.
Sinemanın öncüleri Lumière kardeşlere saygı duruşunda bulunan bu model, bir dönüm noktasını işaret ediyor. Yaratıcılığın artık teknik sınırları yok.Üç boyutluluğu ve zamanı tek bir sinir ağında anlama yeteneği, hayal gücü ile görsel uygulama arasındaki engelin neredeyse ortadan kalktığı ve dijital çağda hikaye anlatma biçimimizi dönüştürdüğü bir geleceğe bizi yaklaştırıyor.