- Kshitij Kumar, Bilgisayar Görü araştırmacısı, Sally Robotics tarafından .
Yapay Zeka, son yıllarda büyük endüstrilerin yardımıyla mal ve hizmetlerini geliştirmesiyle birlikte büyük bir ilgi görüyor. Siri, Alexa ve Google Assistant gibi sesli asistanlar, dün gece izleyemediğiniz futbol maçının sonucunu onlara sorarak söyleyebilirler. Spotify'daki öneri sistemleri, müzik kitaplığınızı genişletmenize yardımcı olur ve Amazon'unki, daha sonra hangi ürünü satın alacağınızı ilk elden bilmeden tahmin edebilir! AI ayrıca robotik, sağlık hizmetleri, finans ve daha pek çok alanda ilerlemeler sağlamıştır. Bu makalede, NVIDIA'nın oyun deneyimlerimizi geliştirmek için yapay zekayı nasıl kullandığını keşfedeceğiz.
Oyun geliştiricilerin oyuna önceden pişirilmiş yansımalar eklemek yerine gerçek ışık koşullarını gerçek zamanlı olarak simüle eden modern oyunlarda yakın zamanda ortaya çıkan ışın izleme sayesinde oyunlar grafiksel ve dolayısıyla hesaplama açısından yoğun hale geliyor . Bu görev, hesaplama açısından son derece pahalıdır ve oyunların iyi 1080p'den daha yüksek çözünürlüklerde olması gerçeğiyle birleştiğinde; bu nedenle, oyunları oluştururken sayıları sıkıştırmayı hızlandırmaya ihtiyaç vardı.
DLSS, özellikle süper çözünürlük görevini yerine getirir; burada daha düşük çözünürlüklü bir görüntü, örneğin 1080p, görüntü kalitesinde minimum kayıpla daha yüksek bir çözünürlüğe, örneğin 4K'ya yükseltilebilir. Oyun hala 1080p'de işleniyor ve yalnızca ölçekleme kısmı DLSS algoritması tarafından işleniyor, bu nedenle size oyunu gerçekten 4K'da işlemek zorunda kalacağınız oyunlarda daha yüksek kare hızları veriyor (eğer bir daha yapmaya çalışırsam dizüstü bilgisayarım eriyor bu 😌).
DLSS, özünde NVIDIA süper bilgisayarlarında eğitilmiş bir sinir ağıdır; burada sinir ağının çıktısı 16K kesinlik görüntüsü ile karşılaştırılır ve bu iki görüntü arasındaki hatanın ağda geri yayımı yapılır. Sinir ağının çıkarım hızı bir darboğaza neden olabileceğinden, DLSS, RTX 2000 GPU'larda (ve yaklaşan RTX 3000 GPU'larda) ve iş istasyonu RTX GPU'larda bulunan Tensor Çekirdeklerinden yararlanır. Bunlar, tensör işlemlerini önemli ölçüde hızlandırmaya yardımcı olan, dolayısıyla AI eğitimi ve HPC ile ilgili görevlerde önemli artışlar sağlayan özel çekirdeklerdir.
DLSS 1.0, oyun bazında eğitildi ve eğitilmesi son derece zaman alıyordu. Ayrıca 4x yukarı örneklemeyi (örn: 1080p'den 4K'ya) desteklemiyordu ve resim kalitesinde kare hızlarında iyileştirmeye değmeyen çeşitli başka kusurları vardı. DLSS 2.0 daha genel bir algoritmadır, bu nedenle eğitim sınırlamasını kaldırır, 4 kata kadar yukarı örneklemeyi destekler, bir RTX 2080ti'de 4K'da yaklaşık 1,5 ms çıkarım süresiyle tensör çekirdeklerinden yararlanarak çıkarım süresini önemli bir faktörle azaltır, ve bazı durumlarda, yerel olarak oluşturulmuş bir görüntüden daha iyi sonuçlar sağlar! Sonuçları karşılaştırmak için bazı resimlere bir göz atalım.
DLSS 1.0 yükseltilmiş görüntüler 720p'de maksimum 1080p'ye çıkarılırken, DLSS 2.0, 540p'den 1080p'ye yükseltme gerçekleştirir. Gördüğünüz gibi, 540p görüntüsü bulanık bir karmaşa gibi görünüyor. Öte yandan, DLSS 2.0 sonucu, DLSS 1.0 sonucundan bile daha iyi görünüyor ve hatta yerel olarak oluşturulmuş görüntüden biraz daha iyi görünüyor. Bu, DLSS 2.0'ın piksel doldurma konusunda DLSS 1.0'dan daha iyi bir iş çıkardığı anlamına gelir, ancak ilkinde örneklenecek daha az piksel olmasına rağmen. Bu, bu iki versiyon arasında ne kadar iyileştirme yapıldığını yansıtır.
DLSS 2.0, 540p işlenmiş bir görüntüden yükseltme yapabildiğinden, bu, düşük çıkarım süresi ile birleştiğinde, DLSS'nin performans kazanımlarının görüldüğü yerdir.
Oyunlarda sahne geometrisini oluştururken (bir üçgen diyelim), kullandığınız piksel sayısı (kabaca konuşursak, örnekleme oranı) görüntünün nasıl görüneceğine karar verecektir.
Bir üçgen oluşturmak için 4x4 örnekleme ızgarası kullanarak, görüntünün o kadar da harika görünmediğini görebiliriz.
Şimdi, 8x8 örnekleme ızgarası kullanarak örnekleme oranını dört katına çıkardığımızda, oluşturulan üçgenin görüntüsünün amaçlanan üçgene biraz daha benzer göründüğünü görebiliriz. DLSS'nin sorun açıklaması burada yatıyor: amaç, düşük çözünürlüklü örnekleme oranlı bir görüntü almak ve daha yüksek bir çözünürlüğe yeniden yapılandırmaktır.
Sonunda, daha düşük kaliteli bir görüntünün oluşturma maliyeti ile daha yüksek çözünürlüklü bir görüntü elde etmenizi beklersiniz.
Bu aslında yeni olmayan süper çözünürlük sorununu çözüyor. Süper çözünürlükte yapılan önceki çalışmalara kısa bir göz atalım.
Bu, bilinear, bikübik ve Lanczos enterpolasyon filtreleri gibi enterpolasyon teknikleri yardımıyla daha düşük çözünürlüklü görüntüler yardımıyla daha yüksek çözünürlüklü görüntüler oluşturmayı amaçlamaktadır. Bu, derin sinir ağlarının yardımıyla da yapılabilir, ancak bunlarla ilgili sorun, eğitim setine gömülü öncüllere dayalı olarak yeni pikseller halüsinasyonları görmeleridir; bu, makul görünebilecek resimlerle sonuçlanabilir, ancak olmayacaklardır. yerel olarak oluşturulmuş görüntülere yakın, hedeflemeye çalıştığımız şey budur. Ayrıca, yerel yüksek çözünürlüklü görüntülere kıyasla ayrıntılardan yoksundurlar ve geçici olarak kararsızdırlar, bu da zaman içinde görüntülerde tutarsızlıklara ve titremelere neden olur. Bu nedenle, bu tek çerçeve yaklaşımı mantıklı değildir.
Bazı tek görüntü süper çözünürlük tekniklerinin birkaç sonucunu DLSS 2.0'ın sunduğu özelliklerle karşılaştıralım.
Açıkça, DLSS 2.0 , çift kübik enterpolasyon yönteminden ve süper çözünürlük gerçekleştirmek için Generative Adversarial Network kullanan bir sinir ağı mimarisi olan ESRGAN'ınkinden daha iyi sonuç verir . DLSS 2.0 tarafından oluşturulan sonuçtaki yapraklar, yerel olarak oluşturulmuş görüntüden bile daha ayrıntılı görünüyor.
Bu teknik, daha yüksek çözünürlüklü bir görüntü elde etmek için birden çok düşük çözünürlüklü görüntünün kullanımından yararlanır. Bu teknik, optik ayrıntıların tek kare yaklaşımından daha iyi geri yüklenmesine yardımcı olur. Bu konuyla ilgili daha önce yapılan birçok çalışma, videolar ve seri çekim modu fotoğrafçılığı için tasarlandı ve bu, işleme özel bilgilerinden yararlanmıyor. Bir örnek, geometrik hareket vektörlerini kullanmak yerine birden çok kareyi hizalamak için optik akışın kullanılması olabilir; burada ikincisinin hesaplanması daha ucuzdur ve daha doğru sonuçlar üretmemize yardımcı olabilir. Çoklu çerçeve yaklaşımı umut verici bir ipucudur ve bu bizi bir sonraki tekniğimize götürür.
Bu tür örnekleme, görüntülerin süper örneklemesini gerçekleştirmek için birden çok çerçeve kullandı. Diyelim ki mevcut çerçevemiz var. Önceki çerçevenin şu anki çerçevemize biraz benzediğini varsayabiliriz. Nispeten daha düşük bir örnekleme oranı kullanarak, görüntüyü yeniden oluşturmak için ihtiyaç duyduğumuz toplam örnek sayısını artırabiliriz.
Sorun, önceki çerçevenin akıma benzer göründüğü varsayımıyla, çünkü oyunlarda nesneler sürekli hareket ediyor ve onları ilginç kılan da bu. Bunu çözmek için, Uzamsal-Zamansal Süper Örnekleme teknikleri, çerçevelerin geçmiş düzeltmesini yapmak için Komşuluk Kenetleme gibi buluşsal yöntemler kullanır. Bu buluşsal yöntemler, el yapımıdır ve bulanıklık, geçici istikrarsızlık, hareli desen ile gecikme ve gölgelenme arasında bir değiş tokuşa sahiptir.
DLSS sinir ağı, yeniden yapılandırmayı el yapımı buluşsal yöntemlerden daha iyi gerçekleştirmek için eğitilmiş on binlerce eğitim görüntüsü üzerinde eğitilmiştir, böylece bunları kullanmadaki ödünleşmeyi ortadan kaldırır. Bu, birden çok çerçeveden örnekler kullanılarak çok daha yüksek kalitede yeniden yapılanma ile sonuçlanır.
"Kontrol", ışın izleme ve DLSS'yi destekleyen bir oyundur. Gördüğünüz gibi RTX 2060, 8 fps'den ortalama 36,8 fps'ye kadar bir performans artışı elde etti ve bu da oyunu oynanabilir hale getirdi. Performanstaki bu artış, DLSS'siz RTX 2080ti'yi bile geride bırakıyor, dolayısıyla bu teknolojinin ne kadar yetenekli olduğunu gösteriyor.
Digital Foundry , kontrol edebileceğiniz bu videoda DLSS 1.9 ve 2.0 arasındaki görüntü kalitesini karşılaştırdı .
Solda DLSS 1.9 ve sağda DLSS 2.0 ile kontrol edin. Görüntüler bir RTX 2060'da 1080p'de oluşturuldu ve 4K'ya yükseltildi.
Yukarıdaki görüntüde, DLSS 2.0'ın daha önce DLSS 1.9 kullanırken bulunmayan saç tellerini nasıl oluşturabildiğini görebiliriz.
DLSS yalnızca RTX 2000 ve Turing tabanlı GPU'lar (ve yakında çıkacak Ampere tabanlı RTX 3000 GPU'larda) için mevcuttur ve şu an itibariyle birkaç oyun oyununu destekler, ancak DLSS 2.0'ın yerel çözünürlükten daha iyi görüntü kalitesiyle birleştirilmiş kare hızlarındaki kazançla, video kalitesinde minimum kayıpla elde edilebiliyor, DLSS'nin geleceği parlak görünüyor ve bu, oyun alanında NVIDIA için gerçekten dikkate değer bir başarı.
Etrafımızdaki dünya gibi, dil de sürekli değişiyor. Önceki dönemlerde dil değişiklikleri yıllar hatta on yıllar içinde meydana gelirken, artık günler hatta saatler içinde gerçekleşebilir.
Bu metodolojinin beni büyülediğini söylemeliyim, çünkü kadınların güçlendirilmesi kadar özel ve jenerik, günümüzde maruz kaldıkları toplumsal cinsiyete dayalı şiddet kadar ciddi bir sorun bize sunulduğunda, bize böyle bir çözüm sundu. fütüristik ama aynı zamanda gerçek ve yapılabilir. 1- Hadi işe koyulalım. İlk iş iyi bir masa başı araştırması yapmak ama ifade etmekti.
Önceki blog gönderimde, günümüzün makine öğrenimi ekosisteminde kalite ve güvenin ne kadar büyük zorluklar olduğunu anlattım. Okumaya fırsat bulamadıysanız, bu yazıya geçmeden önce okumanızı şiddetle tavsiye ederim.
Medya, Ex Machina ve I, Robot gibi bilimkurgu filmleri ve Elon Musk gibi birkaç açık sözlü vizyon sahibi sayesinde, çoğu insan artık Yapay Zeka (AI), çeşitli alt kümeleri ve potansiyelleri hakkında en azından temel bir anlayışa sahip. uygulamalar. Peki ya Ambient Intelligence (AmI) - bunu duydunuz mu? Endişelenmeyin, bu yeni ortaya çıkan alan bu noktada on yıldan fazla bir süredir etrafta olmasına rağmen çok az kişi var.
Yapay Zeka (AI) algoritmaları, özellikle eğlence ve sosyal medyanın en popüler ürünlerinden bazılarında istihdam edilmesiyle ya da başarılı bir şekilde araba kullanabildikleri için popüler hale geldiğinden, daha önce hiç olmadığı kadar halkın incelemesine girdi. Elon Musk veya Steven Hawking gibi yapay zeka hakkında konuşan ünlü bilim adamlarının, algoritmalara hayatımızın belirli yönlerine izin vermenin etik sonuçlarını ve kariyerlerinin işe yarayıp yaramadığını merak eden ünlü bilim adamlarının etkisi altında her türden insanın şüphesi yok. yeni teknolojinin yerini alma riski.
Makine öğrenimi ve benzer teknolojilerin ekonomi üzerindeki etkisini tartan tartışmada, dünyanın uzmanları büyük ölçüde iki kampa bölünmüş durumda. İyimserler olarak adlandıracağımız bir kamp, bu dijital devrimin, geçmişin teknolojik çalkantıları gibi ekonomiyi rayından çıkarmayacağını ve işsizlik oranlarının sonsuza dek pandemik seviyelere fırlamasına neden olmayacağını düşünüyor.