Filmlerden ve diğer videolardan otomatik olarak çizgi roman oluşturan bir sistem
Son birkaç yılda, bilgisayar bilimcileri, metinleri, görüntüleri ve diğer veri türlerini otomatik olarak oluşturabilen çok sayıda hesaplama tekniği geliştirdiler. Bu modeller, özellikle insanların manuel olarak üretmesi için zorlu ve zaman alıcı olan veriler veya yaratıcı işler oluşturmak için oldukça avantajlıdır.
Çin’deki Dalian Teknoloji Üniversitesi ve Hong Kong Şehir Üniversitesi’ndeki araştırmacılar, kısa süre önce, genellikle çok yetenekli profesyonel sanatçılar tarafından tasarlanan ve kapsamlı çalışma gerektiren manga çizgi romanlarını otomatik olarak oluşturabilen yenilikçi bir çerçeve oluşturdu. ArXiv’de önceden yayınlanmış bir makalede sunulan çerçeveleri, TV dizilerinden, filmlerden, animasyonlardan veya diğer videolardan veri alarak çizgi roman oluşturuyor.
Araştırmacılar makalelerinde “İnsan müdahalesi olmadan videolardan çizgi roman oluşturmak için tam otomatik bir sistem öneriyoruz” diye yazdı. “Altyazılarıyla birlikte bir giriş videosu verildiğinde, yaklaşımımız ilk olarak altyazıları analiz ederek bilgilendirici ana kareleri çıkarır ve ana kareleri çizgi roman tarzı görüntülere stilize eder.”
Videolardan anahtar kareleri çıkardıktan ve bunları çizgi roman tarzı görüntülere dönüştürdükten sonra, araştırmacılar tarafından tasarlanan sistem, görüntüleri birkaç sayfaya yaymak ve görüntüler arasındaki ilişkiyi yansıtan görsel olarak çekici düzenler oluşturmak için çok sayfalı bir düzen çerçevesi kullanıyor.
Araştırmacılar tarafından oluşturulan çerçeve, diğer çizgi roman oluşturma çerçevelerinde olduğu gibi her zaman aynı tür konuşma balonlarını kullanmak yerine, karakterin sözleriyle iletilen duyguyu yansıtan farklı türlerde balonlar üretir. Bunu yapmak için, önce hem bir videonun ses parçasını hem de karşılık gelen altyazıları analiz ederek bir diyalogun farklı satırları tarafından iletilen duyguyu kavramaya çalışır.
Model tarafından oluşturulan diyalog balonlarının şekli ve içlerindeki kelimelerin boyutu, karakterlerin ilettiği duygulara göre değişir. Bu, genel çizgi roman okuma deneyimini önemli ölçüde geliştirir ve farklı karakterler arasındaki diyalogların içeriğini yansıtan daha ilgi çekici düzenler üretir.
Sistem tarafından oluşturulan konuşma balonları konuşan karakterlerin yanına yerleştirilir. Bunu yapmak için, model önce videodaki farklı konuşmacıları algılar ve ardından yakınlıklarında ifade ettikleri duygularla hizalanmış konuşma balonları yerleştirir.
Araştırmacılar, sistemlerini bir dizi deneyde değerlendirdiler, kendi modüllerini değerlendirdiler ve ürettikleri çizgi romanların kalitesini, videoları çizgi romanlara çevirmek için mevcut diğer son teknoloji tekniklerle üretilenlerle karşılaştırdılar. Sistem, dört film ve diziden çıkarılan 16 video klibe dayalı çizgi romanlar oluşturmak için kullanıldı: “Titanik”, “Mesaj”, “Arkadaşlar” ve “Havada”. Bu video klipler iki ila altı dakika uzunluğundaydı.
Ekip, bir grup insandan, modellerinin ürettiği çizgi romanların, alternatif bir çizgi roman oluşturma sistemi tarafından üretilenlere kıyasla genel kalitesini değerlendirmelerini istedi. Bu çalışmaya katılan kullanıcıların büyük çoğunluğu, araştırmacıların modelinin oluşturduğu düzenleri, daha önce geliştirilen sistem tarafından oluşturulanlara tercih ettiklerini söyledi.
Araştırmacılar makalelerinde, “Deneylerimiz, sistemimizin son teknoloji bir çizgi roman oluşturma sistemine kıyasla daha etkileyici ve ilgi çekici çizgi romanlar sentezleyebileceğini gösteriyor” diye yazdı. “Sistemimizin ümit verici sonuçlar elde ettiği gösterilmiş olsa da, yine de bazı sınırlamalara tabidir. Örneğin, anahtar kare seçimi yeterince doğru değildir. Bazı durumlarda, seçilen ana kareler birbirine benzerdir ve bu kesinlikle çizgi roman oluşturdu.”
Mükemmelleştirildikten sonra, bu araştırmacı ekibi tarafından geliştirilen çizgi roman oluşturma sistemi, filmlere, dizilere veya diğer video içeriklerine dayalı olarak otomatik olarak ilgi çekici çizgi romanlar oluşturmak için kullanılabilir. Araştırmacılar sonraki çalışmalarında, anahtar kare seçimi için alternatif bir modül geliştirmeyi planlıyorlar, çünkü bu, sistemleri tarafından üretilen düzenlerin kalitesini artırabilir ve anahtar kare fazlalığını azaltabilir.
“Dahası, birden çok cümleden oluşan bir hikaye verilen görüntü sekansları oluşturabilen birçok mevcut yöntemden esinlenerek , metinsel hikayelerden çizgi romanlar üretmek mümkündür ve manga oluşturmaya yardımcı olmak için metinsel bilgilerden yararlanma yöntemimizi genişletmek istiyoruz,” araştırmacılar makalelerinde sonuca varıyor.
Daha fazla bilgi: Biçimsel çok sayfalı düzenler ve duygu odaklı metin balonu oluşturma ile otomatik çizgi roman oluşturma. arxiv.org/abs/2101.11111