Dr. Michael Beyeler ve UC Santa Barbara'daki ekibi, tıpkı bir bilgisayar görüş sisteminin sürücüsüz bir otomobille konuşması gibi, görme engellilere ipuçları sağlayan akıllı bir protez hazırlıyor.
By SC Stuart
Yıllar boyunca, siberpunk masalları ve bilim kurgu dizileri sibernetik vizyona sahip karakterlere yer verdi - en son, Star Trek Discovery’nin Teğmen Keyla Detmer ve göz implantları. Gerçek dünyada, “doğal” görüşü geri yüklemek hala karmaşık bir bilmecedir, ancak UC Santa Barbara'daki araştırmacılar, tıpkı bir bilgisayar görüş sisteminin kendi kendine giden bir otomobille konuşması gibi, görme engellilere ipuçları sağlayan akıllı bir protez geliştiriyorlar.
Bugün, dünya çapında 10 milyondan fazla insan, çoğu retina dejenerasyon hastalıkları nedeniyle ciddi görme bozukluğu ile yaşıyor. Öncesinde bu haftaki ait Artırılmış Humans Uluslararası Konferansı , biz onun sentetik görme denemeleri hızla büyümeye devam etmektedir Dr.Michael Beyeler, Bilgisayar Bilimi ve UCSB Psikolojik & Beyin Bilimleri Yardımcı Doçent, konuştu Bionic Vision Lab ve bir kağıt sunacak konferans.
Dr. Beyeler, 2019'da ve Augmented Humans 2021'de bir güncelleme sunmak üzeresiniz. Yeni makaleniz, Biyonik Görme için Derin Öğrenmeye Dayalı Sahne Basitleştirme , ileriye giden yolun görme restorasyonundan ziyade yapay görme olduğunu savunuyor, değil mi?
Dr. Michael Beyeler: Biyonik göz teknolojilerinin bir cazibesi, bu cihazların dejeneratif göz hastalığı ve ayrıca görme korteksindeki yaralanma veya travma nedeniyle kör olmuş kişiler için tasarlanmasıdır. Başka bir deyişle, hayatlarının daha iyi bir bölümünü görebildiler, ancak bir kaza veya kalıtsal bir hastalık nedeniyle görüşlerini kaybettiler ve belki de geri istiyorlar.
Bu nedenle araştırmacılar vizyonu “yeniden kurma” amacından söz ediyorlar. Bununla birlikte, beynin hesaplamalarını farklı beyin alanlarına nasıl dağıttığı hakkında daha fazla şey öğrendikçe, “doğal” görüşü gerçekten eski haline getirmek için, on veya yüzbinlerce bireysel nöronla etkileşime girebilen teknolojiler geliştirmemiz gerektiği anlaşılıyor. farklı beyin bölgelerinde. Bu bir gün mümkün olabilir, ancak şu anda ulaşılamaz görünüyor. Aslında, mevcut retina implantlarının yalnızca "parmak sayma" görme seviyeleri sağladığı gösterilmiştir. İnsanlar ışığı karanlık arka planlardan ayırabilir ve hareketi görebilir, ancak görüşleri bulanıktır ve genellikle yorumlanması zordur.
Araştırmanız nerede devreye giriyor?
Sağ. Bir gün “doğal” vizyonu geri getirmeye odaklanmak yerine (bu asil ama imkansıza yakın bir görevdir), şimdi “pratik” ve “yararlı” yapay vizyonu nasıl yaratacağımızı düşünmek daha iyi olabilir. Google Glass veya Microsoft HoloLens gibi körlerin mevcut sinirsel devrelerinden yararlanmak ve görme duyularını çok artırmak için burada gerçek bir fırsatımız var . Sunduğumuz bu yeni çalışmada ilk adımı atıyoruz. Yakınlaştıkça nesnelerin daha parlak görünmesini sağlayabilir veya sahnedeki önemli nesneleri vurgulamak için bilgisayar vizyonunu kullanabiliriz.
Gelecekte, bu görsel artırmalar GPS ile birleştirilerek yön vermek, kullanıcıları yakın çevrelerindeki yaklaşan tehlikelere karşı uyarmak ve hatta bir kızılötesi sensör kullanarak "görünür" ışık aralığını genişletmek (biyonik gece görüşünü düşünün) ). Oluşturulan yapay görmenin kalitesi belirli bir eşiğe ulaştığında, izlenecek pek çok heyecan verici yol vardır.
Bu, çalışmanızı nöro-mühendislik alanından daha ileri götürüyor mu, yoksa bir yazılım geliştirme, donanım, biyomimikri ve AR kombinasyonuna mı götürüyor?
Bizi muhtemelen nörobilim, mühendislik ve bilgisayar biliminden beceriler gerektiren disiplinler arası bir çabaya götürüyor. Ama dürüst olmak gerekirse, bu tam olarak alanın gitmesi gerektiğini düşündüğüm yer. Neden makine öğrenimi ve bilgisayarla görmedeki tüm son gelişmelerden yararlanmıyorsunuz ? İnsanların şu anda HMD tabanlı AR hakkında düşündükleri gibi, gerçek zamanlı büyütmeler sağlayan akıllı bir protez inşa etme fırsatına sahibiz.
Yeni makalenizde, görüntü işleme için son teknoloji bilgisayarla görme algoritmalarını kullanmayı ve protez vizyonu simüle etmek için hesaplama modelleri oluşturmayı anlatıyorsunuz.
Bu çalışma gerçekten akıllı bir protez geliştirme yolunda ilk adımdır. Sorun, mevcut (ve yakın gelecekteki cihazların) sağladığı vizyonun çok sınırlı olmasına dayanıyor. Yakında binlerce elektrotlu cihazlarımız olabilir, ancak önceki araştırmalarımdan bazıları, daha fazla elektrotun mutlaka daha fazla "piksel" anlamına gelmediğini gösterdi. İmplantta tek bir elektrot açtığımızda hastalar piksel gördüklerini bildirmezler. Bunun yerine çizgiler, damlalar ve takozlar gibi bulanık şekiller görürler.
Kulağa en uygun gelmiyor.
Hayır, 's adil hastaları söylemek değil yakın zamanda 4K göreceğiz. Bu daha çok Atari'de okuma gözlükleriniz buğulanırken Pong oynamak gibi olacak.
Peki çözüm nedir?
Ne yapabilirsiniz yapmak kullanarak hasta için sahne basitleştirmek olan bilgisayar vizyonu . Hastanın zihninde dünyanın hiper-gerçekçi bir resmini nasıl çizeceğimiz konusunda endişelenmek yerine, gerçek dünya görevlerini destekleyen görsel ipuçları sağlamak istiyoruz.
Bize bu görsel ipuçlarından ve kullanılan teknolojiden bir örnek verin.
Elbette. Şehirde yolunuzu bulmaya çalışıyorsanız, sahnede önemli yer işaretlerinin nerede olduğunu ve yakın çevrenizde herhangi bir engel olup olmadığını bilmeniz gerekir. Bu nedenle, görsel olarak dikkat çekici bilgileri vurgulamak ( DeepGaze II kullanarak ), ilgili nesneleri arka plandaki karmaşadan ayırmak ( detektör2 kullanarak ) ve gözlemciden uzaktaki nesneleri harmanlamak için son teknoloji bilgisayarla görme tekniklerini denedik. ( monodepth2 kullanarak ).
Daha da önemlisi, simüle edilmiş protez vizyonun gerçekçi tahminlerini oluşturmak için bu stratejileri psikofiziksel olarak doğrulanmış bir hesaplamalı retina modeli ile birleştirdik. Bu önemli çünkü “pikseller” üzerinden düşünmekten uzaklaşmamız ve sinirsel kodun üretilen görsel deneyimin kalitesini nasıl etkilediğini düşünmemiz gerektiğini düşünüyorum. YouTube kanalımızda bu çalışmanın hızlı bir bilimsel sunumu var .
SPV (Simüle Protez Görme) denemelerini nasıl yaptınız ve bunlar gören veya görme engelli gönüllülerle mi yapıldı? Bu durumda neyi başarmayı umuyordunuz?
Nihai hedef, COVID-19 sonrası bunu mümkün olan en kısa sürede biyonik göz kullanıcıları üzerinde test etmektir. Şimdilik, bu çalışma bir kavram kanıtı olarak anlaşılmalıdır - akıllı protez vizyonumuza doğru ilk adım. Aslında, farklı stimülasyon stratejileri ve implant tasarımlarını denemek şirketler için çok pahalı ve katılımcılar için yorucudur, bu nedenle laboratuvarımızda "sanal hastalara" yönelik inşa ediyoruz. Bunlar, sanal gerçeklik başlığı aracılığıyla simüle edilmiş protez vizyonu izleyen gören kişilerdir . Bu, gören deneklerin, sürükleyici bir sanal ortamı keşfederken başlarını ve (ileride çalışacakları) göz hareketlerini hesaba katarak, bir retina protezi hastasının gözlerinden "görmelerine" olanak tanır.
Neredeyse otomasyon / kendi kendine giden arabalarda veya araçtan araca sistemlerde görülen türde bir bilgisayar vizyonu oluşturuyormuşsunuz gibi geliyor, ama insanlar için. Bu bir aşırı basitleştirme mi?
Hiç de değil, tam olarak gittiğimiz yer orası. Bilgisayarla görme literatüründen çok ilham alıyoruz ve bu son teknoloji algoritmaları anlamlı yapay görme sağlamak amacıyla uyarlamanın yollarını arıyoruz. Bu V2V çözümleri her geçen yıl daha taşınabilir hale geliyor. Bir akıllı telefonun gücünü düşünün - uçta gerçek zamanlı çözümler sağlamak için küçük bir giyilebilir cihaza sığdırılabilecek çok sayıda hesaplama vardır. Alternatif olarak, Google'ın Cloud Vision API ile yaptığı gibi bulut tabanlı bir çözüm sağlamaktır . Elbette, hizmetin hızlı ve güvenli olması gerekir. Aslında, UCSB'de tarım ve diğer uygulama alanları için IoT çözümleri üzerinde çalışan uzmanlarımız, en önemlisi Profesör Rich Wolski ve Profesör Chandra Krintz var.
Araştırmanızı kim finanse etti ve ne amaçla?
NIH'deki Ulusal Göz Enstitüsünden sürekli fon aldığımız için gerçekten şanslıyız. Bu araştırmanın mümkün kıldığı R00 hibe, özellikle COVID kısıtlamalarının zaten başlangıçta iddialı olan bir araştırma gündemini daha da karmaşık hale getirdiği bu gibi zamanlarda paha biçilemez. Öngörülemeyen bir yıl oldu, ancak federal desteğe güvenebilmek, öğrencilerime ödeme yapabileceğimi ve bu önemli araştırma için ileriye dönük bir yol olduğunu garanti ediyor.
Yazma sırasında hala COVID-19'un işgali altındayız. Güneşli Santa Barbara'da mı yoksa başka bir yerde mi kilitli kalıyorsunuz? Ve uzaktan öğretim / denetime ve araştırmaya iyi adapte oldunuz mu?
Uzaktan öğretim ve denetim kesinlikle zor olmuştur, ancak harika bir kampüs deneyimini kaçıran öğrenciler için kendimi daha kötü hissediyorum. Önümüzdeki ayın tekrar Mart olması (veya hala?) Tuhaf, ama hepimiz durumu olduğu gibi en iyi şekilde değerlendirmeye çalışıyoruz. Yine de evden çalışmak güzel, bu yüzden kampüse dönmemiz beklenir gelmez artık “ mezuniyet gözlüğü ” olarak bilinen şeyi alıp alamayacağımı merak ediyorum .
Son olarak, bu yılki Artırılmış İnsanlar konferansı, her şey gibi, çevrimiçi olarak gerçekleşiyor, ancak önceki yıllarda Japonya, Kore ve Avrupa'daki kurumlar tarafından ev sahipliği yaptı. Seyahat kısıtlamaları kaldırıldığında ve kolunuzdan atışınız (ve muhtemelen elinizde bir COVID pasaportu) olduğunda, nereye gideceksiniz ve neden?
İlk durak İsviçre. Ailemi ve arkadaşları gerçekten özlüyorum ve Seattle'da doğan oğlumun mirasının diğer yarısını görmesini gerçekten istiyorum. Asırlardır bir yolculuktan bahsediyoruz ama şimdilik yapabileceğimiz tek şey bu. Konuş. Ondan sonra her şey adil bir oyun. Bekleyemem!
İlk olarak https://www.pcmag.com adresinde yayınlanmıştır .
Bir kelime bulutu, kelimelerin boyutlarının sıklıklarını temsil ettiği bir metindeki anahtar kelimeleri kolayca tanımlamamızı sağlar. Bununla, daha okumadan bile bir metnin ne hakkında olduğu hakkında iyi bir fikir edinmiş olacağız.
Metin belgelerinin sayısının artmasıyla birlikte, metin belgesi sınıflandırması veri biliminde önemli bir görev haline geldi. Aynı zamanda makine öğrenimi ve veri madenciliği teknikleri de her geçen gün gelişiyor.