AI özellikli görüntü analizi için anlam önbelleği
Yüksek çözünürlüklü, ucuz sensörlerin kullanılabilirliği, mevcut internetin altını tutabilen, üretilen veri miktarını katlanarak artırdı. Bu durum, veriyi bulut veri merkezlerine göndermek yerine, ağın kenarlarında oluşturulduğu yere yakın olan verileri işlemek için hesaplama kapasitesine ihtiyaç duymuştur. Kenar hesaplama, bilindiği gibi, sadece bant genişliği üzerindeki gerilimi azaltmakla kalmaz, aynı zamanda ham veriden istihbarat elde etmenin gecikmesini de azaltır. Bununla birlikte, bulut altyapısını yönetmek ve sunmak için maliyet etkin kılan ölçek ekonomilerinin eksikliği nedeniyle, uçtaki kaynakların kullanılabilirliği sınırlıdır.
Kenar hesaplamanın potansiyeli, video analizinden daha açık değildir. Yüksek tanımlı (1080p) video kameralar, gözetleme gibi alanlarda yaygın hale geliyor ve kare hızına ve veri sıkıştırmasına bağlı olarak saniyede 4-12 megabit veri üretebiliyor. Yeni 4K çözünürlüklü kameralar, saniyede gigabit sırasına göre ham veriler üretir. Bu tür video akışlarına yönelik gerçek zamanlı bakış açıları, sınıflandırma, nesne algılama ve çıkarma ve anormallik saptama gibi görevler için derin sinir ağları gibi AI tekniklerinin kullanılmasını gerektirmektedir.
IBM Edge Edge'in 2018 tarihli Konferansı, "Edge Küpleri: Hız ve Ekonomi'de Bulut Düzeyinde Doğru Doğruluklu AI Çıkarımı" başlıklı toplantımızda, ticari olarak bulunabilen bulutları kullanarak böyle bir AI iş yükü, nesne sınıflandırmasının performansını deneysel olarak değerlendirdi. -sağlanan hizmetler. Güvenebileceğimiz en iyi sonuç, saniyede 24 kare standart video üretim hızının çok altında olan, saniyede 2 kare bir sınıflandırma çıktısıydı. Temsili bir uç cihazda (NVIDIA Jetson TK1) benzer bir denemenin yürütülmesi gecikme şartlarını sağladı, ancak bu süreçte cihazda mevcut olan kaynakların çoğunu kullandı.
Semantik Önbellek'i önererek bu ikilemeyi kırarız. Bu yaklaşım, kenar dağıtımlarının düşük gecikme süresini bulutta bulunan neredeyse sonsuz kaynaklarla birleştiren bir yaklaşımdır. Bulutta belirli bir girdi (örn. Video karesi) için AI çıkarımını yürüterek ve sonuçları ayıklanan özelliklere dayalı bir "parmak izi" veya bir karma koduyla kenarda saklayarak gecikmeyi maskelemek için iyi bilinen önbellekleme tekniğini kullanıyoruz girişten.
Bu şema, semantik olarak benzer olan girdilerin (örneğin, aynı sınıfa ait olan), bir miktar mesafe ölçüsüne göre, birbirine "yakın" olan parmak izlerine sahip olacakları şekilde tasarlanmıştır. Şekil 1, önbellek tasarımını göstermektedir. Kodlayıcı, bir giriş video karesinin parmak izini yaratır ve parmak izleri için önbelleği belirli bir mesafe içinde arar. Bir eşleşme varsa, çıkarım sonuçları önbellekten sağlanır ve böylece bulutta çalışan AI hizmetini sorgulama gereği ortadan kalkar.
Gölge kuklalarına benzeyen parmak izlerini, figürlerin iki boyutlu projeksiyonlarını arka planda bir ışık tarafından oluşturulan bir ekranda buluyoruz. Parmaklarını gölge kuklalar oluşturmak için kullanan herkes, bu figürlerdeki ayrıntıların yokluğunun, iyi bir hikaye anlatımı için temel olma yeteneklerini kısıtlamadığını doğrulayacaktır. Parmak izleri, orijinal detayın yokluğunda bile zengin AI uygulamaları için kullanılabilen gerçek girdinin izdüşümleridir.
Semantik önbellek kavramının, bir "hizmet olarak" tasarım yaklaşımını izleyerek ve bir REST arabirimi üzerinden edge cihaz / ağ geçidi kullanıcılarına gösterilmesini takiben tam bir konsept uygulaması kanıtı geliştirdik. Bir dizi farklı kenar cihazı (Raspberry Pi 3 / NVIDIA Jetson TK1 / TX1 / TX2) hakkındaki değerlendirmelerimiz, çıkarım gecikmesinin 3 kat azaldığını ve bant genişliği kullanımının bir bulutla karşılaştırıldığında en az yüzde 50 oranında azaldığını göstermiştir. sadece çözüm.
Yaklaşımımızın ilk prototip uygulamasının erken değerlendirilmesi, potansiyelini ortaya koymaktadır. İlk yaklaşımı olgunlaştırmaya devam ediyor, daha iyi doğruluk için alternatif kodlama teknikleriyle denemeyi ön planda tutuyor, ayrıca değerlendirmeyi daha fazla veri kümesine ve AI görevlerine de genişletiyoruz.
Bu teknolojinin, diğerlerinin yanı sıra, endüstriyel tesisler için perakende, tahmini bakım ve video gözetimi uygulamalarına sahip olmasını öngörüyoruz. Örneğin, semantik önbellek, ürün resimlerinin parmak izlerini, kasalarda saklamak için kullanılabilir. Bu, hırsızlık veya yanlış tarama nedeniyle mağaza kayıplarını önlemek için kullanılabilir. Yaklaşımımız, uçtan uca en iyi AI çözümlerini sunmak için bulut ve kenar hizmetleri arasında sorunsuz geçiş örneğidir.