Bu gönderi, Markov Random Fields ve bunların görüntü işlemedeki belirli problemlere uygulanmasını kapsamaktadır. Derin ya da resmi değiliz, sadece sezgisel.
Markov Rastgele Alanı, düğümleri rastgele değişkenleri modelleyen ve kenarları, çiftleri arasında yerel etkileri isteyen bir grafiktir. Yerel etkiler, grafiğin bağlanabilirliğinden yararlanarak küresel olarak yayılır.
İşte bir örnek. Dikdörtgen bir ızgara üzerinde bir görüntü düşünün. Piksellerden oluşur. Her pikselin rengini belirten bir değeri vardır. Dahili olarak bir piksel, siyah-beyaz görüntüler için bir ikili değişken, gri ölçekli görüntüler için sürekli bir değişken olarak temsil edilebilir ve renkli görüntüler için çoklu değişkenlerin karışımlarını (örneğin, RGB) kullanabilir. Bu farklılıklar burada bizim için önemli olmayacak. Bizim ilgilendiğimiz kadarıyla, bir pikselin rengini temsil eden bir değeri vardır.
Bunu modelleyen doğal bir MRF, piksellerin her biri için bir düğüme sahiptir. Bir kenar, bitişik olan (ızgarada) iki düğümü birbirine bağlar. Aşağıda 3x3 ızgara üzerinde örnek bir MRF bulunmaktadır. Dikey ve yatay çizgiler onun kenarlarıdır.
o — o — o | | | o — o — o | | | o — o — o
Gerçek dünya görüntüleri akıcı olma eğilimindedir. Yani, bitişik pikseller benzer renklere sahip olma eğilimindedir. Elbette, kenarlar veya nesne sınırları gibi ani geçişler de olabilirler. Bununla birlikte, bu geçişler arasında genellikle çok fazla pürüzsüzlük vardır.
Bitişik piksellerin benzer değerlere sahip olmasını bir şekilde destekleyen, MRF'nin kenarlarıdır. Nasıl? İlk olarak, bazı yeni kavramların tanıtılmasına yardımcı olacaktır. Sonra bu soruyu cevaplamak için geri döneceğiz.
Klikler ve Enerji Fonksiyonları
Bu materyal biraz kalın olacak. Merak edebilirsiniz, neden tüm bunları bilmem gerekiyor? Noktalar yakında birleşmeye başlayacak, bu yüzden bir süre benimle kalın.
Bir grafikteki klik, her çiftin bir kenarla bağlandığı bir düğümler kümesidir. Bir klik, daha büyük bir klikin parçası değilse maksimumdur.
Maksimum klikler, bir MRF'nin nasıl çalıştığı konusunda çok önemli bir rol oynar. Sezgisel olarak bu türden her bir klik, tüm değerleri birbirini doğrudan etkileyen bir dizi düğüm belirtir.
2B resim örneğimizde, maksimum boşluklar grafiğin kenarlarıdır. Bir kenar yalnızca bitişik pikselleri bağlayabildiğinden, üçgen mümkün değildir.
Tamam, yani hangi düğüm kümelerinin birbirini doğrudan etkilediğini belirledik. Bu etkinin doğasını nasıl kontrol ederiz ? 2D resim örneğimizde, bitişik piksellerin benzer değerlere sahip olmasını istiyoruz .
Bir klikteki düğümlerin değerleri arasındaki etkileşimin özelliklerini, seçtiğimiz sözde enerji fonksiyonu ile kontrol ediyoruz. Bu işlev (maksimal klik başına bir), tüm klik düğümleri için değerleri girer ve enerjisini bir skaler olarak çıkarır. Seçtiğimiz enerji fonksiyonu, bu düğümlerin iyi bir değer kombinasyonuna düşük enerji atamalıdır. Yani düşük enerji iyidir.
Düğümlerine belirli bir değer ataması için küresel enerji, grafikteki tüm maksimum kliklerin enerjilerinin toplamıdır.
Pürüzsüzlük sağlayan Enerji İşlevi . MRF imajımızda, hangi enerji işlevi pürüzsüzlük sağlar? Düşünün | xi - xj |. Burada i ve j , xi ve xj değerlerini ifade ederek bitişik pikselleri belirtir. Bu enerji fonksiyonu, xi ve xj'nin benzer değerlere sahip olmasını tercih eder . Sonuç olarak, küresel enerji maksimum düzeyde pürüzsüz olan bir görüntü ile en aza indirilecektir.
Başlık altı, xi ve xj'nin birden çok boyuta sahip olabileceğini unutmayın; örneğin, renk için RGB. İki renk arasındaki mesafeyi anlamlı bir şekilde hesaplayabildiğimiz sürece umursamıyoruz, ki bu | xi - xj | dır-dir.
Bu güzel, ama maksimum derecede pürüzsüz bir görüntünün ne faydası var? Tüm pikseller aynı renge sahip olacaktır.
Aşağıda, pürüzsüzlüğün, dolayısıyla bu MRF'nin önemli bir rol oynadığı bazı özel yararlı görüntü işleme sorunları görüyoruz.
Görüntü Gürültü Giderme
Bu örneği düşünün.
Beyaz noktalara (yıldızlara) bakın. Diyelim ki birisi onları gürültü olarak düşünmek istiyor (öyle olmasalar da). Kişi, tek bir düğmeye tıklayarak bu görüntünün sesinin kaldırılmasını isteyebilir. Bozucuların işi, bu beyaz noktaları en olası suçlular olarak belirlemek ve onları karalamaktır.
MRF'nin bu beyaz noktaları gürültü olarak algılayabilmesini neden bekleyelim? Tartışma adına, her beyaz noktanın tek bir piksel olduğunu varsayalım. Bir noktanın pikseli beyazdır ve tüm komşuları siyahtır. Üstelik siyah ve beyaz çok farklı görünen renklerdir. MRF bu uyumsuzluğu sevmiyor. Yani spotun rengini siyah yaparsak küresel enerji önemli ölçüde azalır. Bu mantık, tüm beyaz noktalar için geçerlidir.
Parlak kırmızı küredeki herhangi bir piksele gelince, benzer renkte en azından bazı komşuları vardır. Dolayısıyla, böyle bir pikselin rengini büyük ölçüde değiştirmek enerjiyi azaltmayacaktır.
Görüntü Gürültü Giderme için Daha Zengin Bir MRF
Bu MRF'nin iki yaprak düğümü vardır. Her iki sayfadaki düğümler, ızgaraya yerleştirildiği gibi pikselleri temsil eder. İlk yaprağın kenarları daha önce olduğu gibi ızgara tarafından belirlenir. İkinci sayfadaki düğümler arasında kenar yok. Bir kenar, aynı pikseli temsil eden iki sayfadaki iki düğümü birbirine bağlar.
Aşağıda 1X3 ızgara üzerinde örnek bir MRF bulunmaktadır.
o — o — o sheet one | | | o o o sheet two
Öncekiyle aynı enerji fonksiyonunu kullanacağız. Bunun küresel enerji üzerindeki etkisi nedir? Hem giriş görüntüsüne yakın hem de ondan daha pürüzsüz (er) denoize bir görüntü bulmaya çalışır.
Görüntü Restorasyonu
Burada bize hem gürültülü (yani bazı piksellerinin yanlış değerlere sahip olduğu) hem de eksik (yani bazı piksellerinin bir değeri olmayan) bir görüntü veriliyor . İki sayfalık MRF, bu sorunu çözmek için de uygundur. Daha önce olduğu gibi, X'in değerlerini girdi görüntüsünden ayarlayacağız. Giriş görüntüsünde eksik değerler olan piksellerin boş bırakılması dışında.
Resim parçalama
Burada, görüntüyü maksimum homojen bölgelere ayırmak istiyoruz. Homojenlik, bazı mülklerin tüm alanda benzer kalması anlamına gelir. Özellik renkli olabilir. Veya doku. Veya bir kombinasyon. Maksimum olarak, farklı bölgelerin, özellikle bitişik olanların farklı olduğu anlamına gelir. Kümeleme gibi mi geliyor? Evet, görüntü özelliklerinde 2B ayarda: renk vb.
Belirli bir kritik segmentasyon durumu, görüntüyü ön plana ve arka plana bölmektir. Küre örneğimizde, küre ön plan ve siyah gökyüzü (yıldızlar dahil) arka plan olacaktır.
Genel olarak, böyle bir ikili bölümleme yapmak bile kolay değildir. Örneğimizdeki (siyah gökyüzü) basit arka planın aksine, diğerleri farklı doku veya renklere sahip olabilir. Ayrıca, görüntü birden çok nesne içerebilir. Aslında durum böyle olunca ön plan nasıl tanımlanıyor?
Sorunu hem basitleştirmek hem de belirsizliği gidermek için etkili bir yol, etkileşimli segmentasyon olarak adlandırılır . Kullanıcı, parçalanmak istenen nesnenin etrafına bir sınırlayıcı kutu çizer. Algoritma, bu kutuyu kaba bir ilk bölümleme olarak alır ve onu geliştirmeye çalışır.
İçinde iki farklı küre olacak şekilde değiştirilmiş gökyüzü örneğini ele alalım. Onları güneş ve ay gibi düşünün. Kullanıcı sınırlayıcı kutuyu ayın etrafına koyabilir. Böylece hem güneş hem de gökyüzü arka planda olacaktır.
Mimari ve Enerji Fonksiyonu
İki sayfalı MRF yapısını burada da kullanacağız. Daha önce olduğu gibi, sayfa X resmi içerecektir. Sayfa Y, segmentasyonunu yakalayacaktır. Sayfa Y'nin düğümleri, sıfır arka planı ve bir ön planı ifade eden ikili değerlidir . Y'deki kenarlar öncekiyle aynı ızgara yapısını oluşturacaktır. X'i Y'ye bağlayan kenarlar da aynı olacaktır.
Bu probleme uyarlanmış farklı bir enerji işlevi kullanacağız. Neden? Ön plana önemli ölçüde homojenlik ve arka plana (eğer varsa) daha zayıf empoze etmek mantıklı görünüyor. Bunu nasıl gerçekleştirebiliriz? Komşu düğümlere 1 değerini 0 değerinden daha fazla 'kuvvetle' yayan bir enerji işlevi seçerek.
Bu algoritmayı ve enerji fonksiyonunu bunun üzerinde, özellikle basit bir örnek üzerinde göstereceğiz. (Yine de güzel görünmüyor.)
______ __|___ ____| ____ ______
Şimdi resme. Sınırlayıcı kutuya verilen Y'nin ilk ataması
Y ________ X ______ __|___ ____| ____ ______
Bu başlangıç Y'den itibaren, algoritma sınırlayıcı kutuyu iki piksel sola doğru uzatacaktır. Neden? Çünkü enerji fonksiyonunun her bir bileşeni bu uzantıyı beğenecektir. Neden? Çünkü pürüzsüzlük bileşeni komşularına 1 değerini yaymayı sever. Görüntünün bu noktalardaki gerçek pikselleri de 1 değerlidir (siyah). Dolayısıyla algoritma aşağıda gösterilen Y'de duracaktır.
Y ___________ X ______ __|___ ____| ____ ______
Modelimizi sadeliğinden ve şıklığından ödün vermeden zenginleştirebilir miyiz? Burada nasıl olduğuna değineceğiz? Daha kapsamlı tedavi için bkz. [1].
Bir yaklaşım, örneğin diyagonal bağlantılar ekleyerek veya belirli bir d mesafesi içindeyse iki pikseli birleştirerek bir pikselin komşuluğunu genişletmektir . İkincisi için Öklid mesafesini veya Manhattan mesafesini kullanabiliriz.
Bir pikselin komşuluğunu genişleteceksek, bağlandıkları pikseller arasındaki mesafeyle bozulan kenarlara ağırlıklar ekleyebiliriz.
İkinci bir yaklaşım, düğümlerin tek tek pikselleri değil, piksellerin kare yamalarını temsil etmesidir. Bir yamanın değeri, olmasını istediğimiz şey olacaktır. Örneğin, yamadaki piksellerin yoğunlukları üzerindeki ortalama yoğunluk. Yamalar yeterince yakınsa, bir kenar iki yamayı temsil eden düğümleri bağlayacaktır. Yamalar arasındaki mesafeye bağlı olarak bir kenara bir ağırlık da eklenebilir.
Daha fazla okuma
Bir görüntüyü nesneler gibi birden çok bölüme ayırma işlemidir. Görüntü bölütleme, tıbbi görüntülemede röntgen görüntülerini okumada, beyin tümörünü tespit etmede, akciğerleri bulmada, göğüs röntgeni görüntüsünde kalp bulmada ve çok ilginç bir şekilde kendi kendine sürüşte ve görüntü bölütlemenin kullanıldığı birçok alanda çok önemli bir rol oynamaktadır.
Kimden: https://makeoptim.com/en/deep-learning/yiai-image-segmentation Önsöz Önceki makale Nesne Algılamayı tanıtmaktadır.
MIT Seçim Laboratuvarı'nda yüksek lisans araştırmacısı ve doktora derecesi olan Jesse Clark tarafından yazılmıştır.
Oakland, CA'da halka açık verileri kullanarak hava kalitesini tahmin etmek Google ve EDF, Oakland'daki hava kirliliğini haritalama çalışmalarını yayınladığında, bu çalışmanın sonuçları büyük ilgi gördü. Yayınladıkları veriler, hava kalitesinin Doğu ve Batı Oakland'daki şehir bloklarına göre nasıl değiştiğini gösteren ilk veri kümelerinden biriydi.
Daniel Fleck ve David Lubert ile yazılmıştır Dizimizin ilk blogu, bir veri bilimi projesini uygun şekilde değerlendirmek için Net Şimdiki Değer (NPV), İç Getiri Oranı (IRR) ve Karlılık Endeksi'ni (PI) kullanmaya odaklanacaktır. Ayrıca, bir veri bilimi metodolojisinin kullanılmasının, bu aynı ekonomik ölçütlerin girdilerini daha yüksek kaliteli değerlendirmeler geliştirmek için nasıl daha da iyileştirebileceğini tartışacağız.
Öz bileşimi ve SVD için yararlı olan doğrusal cebir temel kavramını anlayın Bu makalede, öz ayrıştırma veya tekil değer ayrıştırma (SVD) gibi matris çarpanlara ayırma yöntemlerini anlamanın ilginç bir yolu olan temel kavramını öğreneceksiniz. Tanımlar Temel, vektör uzaylarını (vektör setleri) tanımlamak için kullanılan bir koordinat sistemidir.