Margaret Maynard-Reid, ML GDE tarafından yazıldı.
Bu, bir görüntüyü bölümlere ayırarak ve ardından görüntü arka planını sinirsel stil aktarımıyla stilize ederek sanatsal efektler oluşturmak için birden fazla makine öğrenimi modelinin nasıl birleştirileceğine ilişkin bir ekip çalışmasıyla yazılmış uçtan uca TensorFlow Lite eğitiminin 1. bölümüdür.
Eğitim dört bölüme ayrılmıştır ve sizin için en ilginç veya alakalı olan bölümü takip etmekten veya atlamaktan çekinmeyin:
Öğreticinin ana hedefleri şunlardır:
Sanat ve tasarımın yaratılmasına yardımcı olmak için AI / ML kullanmak, yazılım özellikleri, profesyonel sanatçılar ve hobiler için giderek daha önemli hale geldi. Snapchat , Adobe Photoshop ve Nvidia vb. Tarafından yapılan bu tür birçok örnek .
Arka plan efektleri
Arka planı kaldırma veya bulanıklaştırma, gizliliği korumaya veya katılımcının duygularını ifade etmeye yardımcı olabilir. Bu, Google Hangout veya Microsoft Teams gibi konferans uygulamalarında bulabileceğiniz önemli bir özelliktir.
Stil aktarımı
Diğer bazı yaygın senaryolar, bir sanat eserini veya sanatçıyı tanımlamada çok önemli olan görüntü stilinin dönüşümünü içerir.
Nöral stil aktarımı sanatsal efektler yaratabilirken, belirli bir sanatçının veya sanat türünün tam stilini taklit edemez. Nöral stil aktarımının bir başka dezavantajı, dönüşümü insan yüzleri veya portreler gibi bazı nesnelere uygularken, çıktı görüntüsünün sanatsal olmasına rağmen çok çekici görünmeyebilmesidir.
Bu nedenle, yalnızca bölümlere ayrılmış arka planın stilize edilmesi, bir fotoğraf portresi için çok daha zarif bir görüntü ile sonuçlanır. Bu aynı zamanda, sanat eserlerinin arka plan dokusunu ve / veya stilini değiştiren fotoğraf veya grafik tasarımında yaygın bir senaryoyu taklit eder.
ML modellerini gerçek dünya uygulamalarına uygularken, çoğu zaman birden çok bilgisayar görüntü modelini birbirine zincirlememiz gerekir. Bu eğitimde, bir görüntüyü bölümlere ayırarak sanatsal efektler oluşturmak için birden çok makine öğrenimi modelini nasıl birleştireceğinizi ve ardından görüntü arka planını sinir stili aktarım tekniğiyle stilize etmeyi göstereceğiz.
Bu projede, biri segmentasyon, diğeri stil aktarımı için olmak üzere iki ML modeli kullandık.
Segmentasyon modeli, bir görüntüdeki her pikseli örneğin bir sınıf etiketi, kişi, sandalye ile ilişkilendirebilen DeepLabV3 tabanlı bir anlamsal segmentasyon modelidir. Fikir aşağıdaki şekilde tasvir edilmiştir -
Stil aktarımı modeli için, bu makalede önerilen yaklaşımlara göre eğitilen modelleri kullandık - Gerçek zamanlı, keyfi bir sinirsel sanatsal stilizasyon ağının yapısını keşfetmek . Bu model, stilize edilmiş son görüntüde görmek istediğimiz stil miktarını kontrol etmemizi sağlar. İşte bir örnek -
Referans: resmi TensorFlow Lite belgeleri
Aşağıdaki gibi stilize bir görüntü oluşturmak için iki modeli zincirledik:
Segmentasyon modeli, her pikseli bir sınıfa sınıflandıran anlamsal segmentasyon uygular. Segmentasyon modeli bir görüntüdeki birden fazla nesne üzerinde çalışabilir, ancak örnek uygulamamız için özçekimler veya insan yüz portreleri ile çalışmayı seçtik. Böylece her görüntü portre ve arka plana sahip olacaktır. Ardından stil aktarımını yalnızca arka plana uyguladık.
Teknik olarak, portreye stil aktarımı da uygulanabilir, ancak bunun yerine stilize edilmiş arka plan ile resim daha çekici görünüyor. Arka planı stilize etmek, fotoğrafçılıkta farklı fonlar uygulama gerçek dünya senaryosuyla daha uyumludur.
Bu yalnızca örnek bir uygulama olmasına rağmen, birden fazla makine öğrenimi görevini barındırmak için dikkatlice tasarlanmış bir kullanıcı deneyimi gereklidir:
Artık bu projenin neyle ilgili olduğuna dair iyi bir fikriniz olduğuna göre, TensorFlow Lite modellerinin nasıl oluşturulacağına dair ayrıntılar hakkında Sayak tarafından yazılan eğitimin 2. bölümüne geçelim .
Bu proje, örnek kodla Uçtan Uca TensorFlow Eğiticileri oluşturma çabasının bir parçasıdır. ML GDE'leri ve topluluk üyeleri tarafından yapılan bir işbirliğidir.
Check out Uçtan Uca TensorFlow Lite Öğreticiler gerekli ilerleme ve yardım fikirlerin, işin listesi için Repo.
Check out müthiş-tflite TensorFlow Lite modelleri, örnekler, öğreticiler, araçlar ve öğrenme kaynaklarının müthiş bir listesi için repo.
TensorFlow Lite ekibi Khanh LeViet ve Lu Wang'a sürekli destekleri için teşekkür ederiz.
Yapay Zeka (AI), endüstrilerde devrim yaratma, yaşama ve çalışma şeklimizi değiştirme ve topluma sayısız fayda sağlama potansiyeline sahip, hızla gelişen bir teknolojidir. Ancak, her yeni teknolojide olduğu gibi, dikkate alınması gereken etik hususlar da vardır.
Yapay Zekaya Giriş Yapay Zeka (AI), endüstrilerde devrim yaratma, yaşama ve çalışma şeklimizi değiştirme ve topluma sayısız fayda sağlama potansiyeline sahip, hızla gelişen bir teknolojidir. Ancak, her yeni teknolojide olduğu gibi, dikkate alınması gereken etik hususlar da vardır.
Torchvision kitaplığının sezgisel bir anlayışı - temel bilgilerden ileri düzeye (Bölüm 1/3) Torchvision nedir? Torchvision, PyTorch ile el ele giden bir Bilgisayar Görüşü kütüphanesidir. Verimli Görüntü ve Video dönüşümleri için yardımcı programlara, yaygın olarak kullanılan bazı önceden eğitilmiş modellere ve bazı veri setlerine sahiptir (torchvision PyTorch ile birlikte gelmez, ayrı olarak kurmanız gerekecektir.
Torchvision kitaplığının sezgisel bir şekilde anlaşılması - 14 görsel dönüşüm örneğiyle (Bölüm 2/3) Bölüm 1 için (torchvision'daki modüllere giriş), lütfen aşağıdaki bağlantıyı ziyaret edin. Bu makalede, veri kümesi (görüntüler) yüklendikten hemen sonra bir dizi halinde gerçekleştirilebilen basit görüntü dönüştürme işlevlerini deneyeceğiz.
Grafik Sinir Ağları (GNN'ler), grafik verilerinden öğrenmek için standart bir araç kutusu olarak ortaya çıktı. GNN'ler, içerik önerisi veya ilaç keşfi gibi farklı alanlarda yüksek etkili sorunlar için iyileştirmeler sağlayabilir.
Bir önceki yazımda, blob algılama ve bağlantılı bileşenlere dayalı olarak ilgilenilen nesneleri nasıl tanımlayacağımızı öğrendik. Bununla birlikte, belirli ilgi çekici nesneleri görüntülerimizden ayırmamız gereken zamanlar olacaktır.