Denetimli veya denetimsiz birçok algoritma, mesafe ölçümlerinden yararlanır . Öklid mesafesi veya kosinüs benzerliği gibi bu önlemler genellikle k-NN, UMAP, HDBSCAN vb. Algoritmalarda bulunabilir.
Uzaklık ölçüleri alanını anlamak, sandığınızdan daha önemlidir. Örneğin, denetimli öğrenme için sıklıkla kullanılan bir teknik olan k-NN'yi ele alalım. Varsayılan olarak, genellikle öklid mesafesini kullanır. Tek başına büyük bir mesafe ölçüsü.
Ancak, verileriniz çok boyutluysa ne olur? Öklid mesafesi o zaman hala işe yarar mı? Ya da verileriniz jeo-uzamsal bilgilerden oluşuyorsa? Belki de haversine mesafesi o zaman daha iyi bir alternatif olabilir!
Hangi mesafe ölçüsünün ne zaman kullanılacağını bilmek, zayıf bir sınıflandırıcıdan doğru bir modele geçmenize yardımcı olabilir.
Bu yazıda, birçok mesafe ölçümünden geçecek ve bunların en iyi nasıl ve ne zaman kullanılabileceğini keşfedeceğiz. En önemlisi, bazı önlemlerden ne zaman uzak durmanız gerektiğini anlayabilmeniz için dezavantajlarından bahsedeceğim.
NOT : Çoğu mesafe önlemi için, kullanım durumları, avantajları ve dezavantajları üzerine uzun ayrıntılı belgeler yazılabilirdi. Mümkün olduğunca fazla örtmeye çalışacağım ama yetersiz kalabilirim! Bu nedenle, bu makaleyi bu önlemlere genel bir bakış olarak değerlendirin.
En yaygın uzaklık ölçüsü olan Öklid mesafesi ile başlıyoruz. İki noktayı birleştiren bir segmentin uzunluğu olarak en iyi açıklanabilecek bir mesafe ölçüsüdür.
Mesafe Pisagor teoremi kullanılarak noktaların kartezyen koordinatlarından hesaplandığı için formül oldukça basittir.
Yaygın bir mesafe ölçüsü olmasına rağmen, Öklid mesafesi değişken olarak ölçeklenmez, bu da hesaplanan mesafelerin özelliklerin birimlerine bağlı olarak çarpıtılabileceği anlamına gelir. Tipik olarak, bu mesafe ölçüsünü kullanmadan önce verileri normalize etmek gerekir .
Dahası, verilerinizin boyutsallığı arttıkça, Öklid mesafesi daha az kullanışlı hale gelir. Bu, yüksek boyutlu uzayın sezgisel olarak 2 veya 3 boyutlu uzaydan beklediğimiz gibi davranmadığı fikrine bağlı olan boyutluluk laneti ile ilgilidir. İyi bir özet için bu gönderiye bakın .
Öklid mesafesi, düşük boyutlu verileriniz olduğunda ve vektörlerin büyüklüğünün ölçülmesi önemli olduğunda harika çalışıyor. Düşük boyutlu verilerde Öklid mesafesi kullanılırsa, kNN ve HDBSCAN gibi yöntemler kutunun dışında harika sonuçlar gösterir.
Öklid mesafesinin dezavantajlarını hesaba katmak için birçok başka önlem geliştirilmiş olsa da, hala iyi nedenlerle en çok kullanılan mesafe ölçülerinden biridir. Kullanımı inanılmaz derecede sezgiseldir, uygulaması basittir ve birçok kullanım durumunda harika sonuçlar gösterir.
Kosinüs benzerliği, genellikle Öklid mesafesinin yüksek boyutsallıkla ilgili sorununa karşı koymanın bir yolu olarak kullanılmıştır. Kosinüs benzerliği, basitçe iki vektör arasındaki açının kosinüsüdür. Ayrıca, her ikisi de bir uzunluğa sahip olacak şekilde normalize edilmişlerse vektörlerin aynı iç çarpımına sahiptir.
Tam olarak aynı yönelime sahip iki vektörün kosinüs benzerliği 1'dir, oysa birbirine taban tabana zıt iki vektörün benzerliği -1'dir. Bir yönelim ölçüsü olduğu için büyüklüklerinin önemli olmadığını unutmayın.
Kosinüs benzerliğinin temel bir dezavantajı, vektörlerin büyüklüğünün hesaba katılmaması, sadece yönlerinin hesaba katılmasıdır. Pratikte bu, değerlerdeki farklılıkların tam olarak dikkate alınmadığı anlamına gelir. Örneğin bir tavsiye sistemi alırsanız, kosinüs benzerliği farklı kullanıcılar arasındaki derecelendirme ölçeğindeki farkı hesaba katmaz.
Yüksek boyutlu veriye sahip olduğumuzda ve vektörlerin büyüklüğü önemli olmadığında kosinüs benzerliğini sıklıkla kullanırız. Metin analizleri için, bu ölçü, veriler kelime sayılarıyla temsil edildiğinde oldukça sık kullanılır. Örneğin, bir sözcük bir belgede diğerine göre daha sık geçtiğinde, bu mutlaka bir belgenin o sözcükle daha fazla ilişkili olduğu anlamına gelmez. Belgelerin eşit olmayan uzunluklara sahip olması ve sayının büyüklüğünün daha az önemli olması söz konusu olabilir. O zaman, büyüklüğü göz ardı eden kosinüs benzerliğini en iyi şekilde kullanabiliriz.
Hamming mesafesi, iki vektör arasında farklı olan değerlerin sayısıdır. Genellikle eşit uzunluktaki iki ikili dizeyi karşılaştırmak için kullanılır. Birbirinden farklı olan karakter sayısını hesaplayarak dizelerin birbirlerine ne kadar benzer olduklarını karşılaştırmak için de kullanılabilir.
Tahmin edebileceğiniz gibi, iki vektör eşit uzunlukta olmadığında hamming mesafesinin kullanılması zordur. Hangi pozisyonların eşleşmediğini anlamak için aynı uzunluktaki vektörleri birbirleriyle karşılaştırmak istersiniz.
Ayrıca, farklı veya eşit oldukları sürece gerçek değeri hesaba katmaz. Bu nedenle, büyüklük önemli bir ölçü olduğunda bu mesafe ölçüsünün kullanılması tavsiye edilmez.
Tipik kullanım durumları, veriler bilgisayar ağları üzerinden iletildiğinde hata düzeltme / algılama içerir. Hatayı tahmin etmenin bir yolu olarak ikili bir sözcükteki bozulmuş bitlerin sayısını belirlemek için kullanılabilir.
Ayrıca, kategorik değişkenler arasındaki mesafeyi ölçmek için Hamming mesafesini de kullanabilirsiniz.
Genellikle Taxicab mesafesi veya City Block mesafesi olarak adlandırılan Manhattan mesafesi, gerçek değerli vektörler arasındaki mesafeyi hesaplar. Satranç tahtası gibi tek tip bir ızgara üzerindeki nesneleri tanımlayan vektörleri hayal edin. Manhattan mesafesi, sadece dik açılarda hareket edebiliyorlarsa, iki vektör arasındaki mesafeyi ifade eder. Mesafenin hesaplanmasında herhangi bir çapraz hareket yoktur.
Manhattan mesafesi yüksek boyutlu veriler için iyi çalışıyor gibi görünse de , özellikle yüksek boyutlu verilerde kullanıldığında, öklid mesafesinden biraz daha az sezgisel olan bir ölçüdür.
Dahası, mümkün olan en kısa yolu olmadığı için öklid mesafesinden daha yüksek bir mesafe değeri verme olasılığı daha yüksektir. Bu mutlaka sorun yaratmaz, ancak dikkate almanız gereken bir şeydir.
Veri kümeniz ayrık ve / veya ikili özniteliklere sahip olduğunda, Manhattan, bu özniteliklerin değerleri dahilinde gerçekçi bir şekilde alınabilecek yolları hesaba kattığı için oldukça iyi çalışıyor gibi görünüyor. Örneğin, Öklid mesafesini ele alalım, gerçekte bu mümkün olmadığında, iki vektör arasında düz bir çizgi oluşturacaktır.
Chebyshev mesafesi, herhangi bir koordinat boyutu boyunca iki vektör arasındaki en büyük fark olarak tanımlanır. Başka bir deyişle, sadece bir eksen boyunca maksimum mesafedir. Doğası gereği, bir şahın bir kareden diğerine gitmek için ihtiyaç duyduğu minimum hareket sayısı Chebyshev mesafesine eşit olduğundan, genellikle Satranç tahtası mesafesi olarak adlandırılır.
Chebyshev tipik olarak çok özel kullanım durumlarında kullanılır, bu da Öklid mesafesi veya Kosinüs benzerliği gibi çok amaçlı bir mesafe ölçütü olarak kullanılmasını zorlaştırır. Bu nedenle, yalnızca kullanım durumunuza uygun olduğundan kesinlikle emin olduğunuzda kullanmanız önerilir.
Daha önce de belirtildiği gibi, Chebyshev mesafesi, bir kareden diğerine gitmek için gereken minimum hareket sayısını çıkarmak için kullanılabilir. Üstelik, sınırsız 8 yönlü harekete izin veren oyunlarda faydalı bir ölçü olabilir.
Uygulamada, Chebyshev mesafesi, bir üst vincin bir nesneyi hareket ettirmek için harcadığı süreye çok benzediğinden, depo lojistiğinde sıklıkla kullanılır.
Minkowski mesafesi, çoğundan biraz daha karmaşık bir ölçüdür. Bu, Normlu vektör uzayında (n boyutlu gerçek uzay) kullanılan bir metriktir, yani mesafelerin uzunluğu olan bir vektör olarak temsil edilebildiği bir uzayda kullanılabilir.
Bu önlemin üç gereksinimi vardır:
Bu mesafe ölçüsü hakkında en ilginç olanı, parametrenin kullanılmasıdır
p. Bu parametreyi, mesafe ölçümlerini başkalarına çok benzeyecek şekilde değiştirmek için kullanabiliriz.
Ortak değerleri
pşunlardır:
Minkowski, temsil ettikleri mesafe ölçüleriyle aynı dezavantajlara sahiptir, bu nedenle Manhattan, Öklid ve Chebyshev mesafesi gibi ölçümlerin iyi anlaşılması son derece önemlidir.
Dahası,
pdoğru değeri bulmak kullanım durumunuza bağlı olarak hesaplama açısından oldukça verimsiz olabileceğinden , parametre ile çalışmak gerçekten zahmetli olabilir.
Bunun tersi,
püzerinde yineleme ve kullanım durumunuza en uygun mesafe ölçüsünü bulma olasılığıdır. Mesafe ölçünüz üzerinde size büyük miktarda esneklik sağlar; bu, yakından aşina iseniz
pve birçok mesafe ölçüsüne aşina iseniz büyük bir avantaj olabilir .
Jaccard indeksi (veya Birleşim Üzerinden Kesişim), numune setlerinin benzerliğini ve çeşitliliğini hesaplamak için kullanılan bir ölçüdür. Kesişme boyutunun, numune setlerinin birleşiminin boyutuna bölünmesiyle elde edilir.
Uygulamada, kümeler arasındaki benzer varlıkların toplam sayısının toplam varlık sayısına bölünmesiyle elde edilir. Örneğin, iki setin ortak 1 öğesi varsa ve toplamda 5 farklı öğe varsa, Jaccard indeksi 1/5 = 0.2 olacaktır.
Jaccard mesafesini hesaplamak için Jaccard indeksini 1'den çıkarırız:
Jaccard endeksinin önemli bir dezavantajı, verilerin büyüklüğünden oldukça etkilenmesidir. Büyük veri kümelerinin endeks üzerinde büyük bir etkisi olabilir, çünkü kesişme noktasını benzer tutarken birleşmeyi önemli ölçüde artırabilir.
Jaccard indeksi, genellikle ikili veya ikili verilerin kullanıldığı uygulamalarda kullanılır. Bir görüntünün segmentlerini, örneğin bir arabayı tahmin eden bir derin öğrenme modeliniz olduğunda, Jaccard indeksi daha sonra, doğru etiketler verilen tahmin edilen segmentin ne kadar doğru olduğunu hesaplamak için kullanılabilir.
Benzer şekilde, belgeler arasında ne kadar kelime seçiminin örtüştüğünü ölçmek için metin benzerlik analizinde kullanılabilir. Böylece, desen setlerini karşılaştırmak için kullanılabilir.
Haversine mesafesi, boylamları ve enlemleri göz önüne alındığında bir küre üzerindeki iki nokta arasındaki mesafedir. İki nokta arasındaki en kısa çizgiyi hesaplaması bakımından Öklid mesafesine çok benzer. Temel fark, düz bir çizginin mümkün olmamasıdır, çünkü buradaki varsayım, iki noktanın bir küre üzerinde olmasıdır.
Bu mesafe ölçüsünün bir dezavantajı, noktaların bir küre üzerinde olduğu varsayılmasıdır . Uygulamada, örneğin dünya tam olarak yuvarlak olmadığından, bu nadiren bir durumdur ve bu da bazı durumlarda hesaplamayı zorlaştırabilir. Bunun yerine, bunun yerine bir elipsoid varsayan Vincenty mesafesine bakmak ilginç olacaktır .
Tahmin edebileceğiniz gibi, Haversine mesafesi genellikle navigasyonda kullanılır. Örneğin, iki ülke arasında uçarken arasındaki mesafeyi hesaplamak için kullanabilirsiniz. Mesafeler zaten o kadar büyük değilse, bunun çok daha az uygun olduğunu unutmayın. Eğrilik o kadar büyük bir etkiye sahip olmayacak.
Sørensen-Dice endeksi, örnek setlerin benzerliğini ve çeşitliliğini ölçmesi açısından Jaccard endeksine çok benzer. Benzer şekilde hesaplansalar da Sørensen-Dice indeksi biraz daha sezgiseldir çünkü iki set arasındaki örtüşme yüzdesi olarak görülebilir, bu 0 ile 1 arasında bir değerdir.
Önsezi, metriğin v olmadan daha iyi kullanımına izin verdiği için mesafe ölçümlerinde önemlidir.
Jaccard indeksi (veya Birleşim Üzerinden Kesişim), numune setlerinin benzerliğini ve çeşitliliğini hesaplamak için kullanılan bir ölçüdür. Kesişme boyutunun, numune setlerinin birleşiminin boyutuna bölünmesiyle elde edilir.
Uygulamada, kümeler arasındaki benzer varlıkların toplam sayısının toplam varlık sayısına bölünmesiyle elde edilir. Örneğin, iki setin ortak 1 öğesi varsa ve toplamda 5 farklı öğe varsa, Jaccard indeksi 1/5 = 0.2 olacaktır.
Jaccard mesafesini hesaplamak için Jaccard indeksini 1'den çıkarırız:
Jaccard indeksi gibi, ikisi de çok az temel gerçek pozitif kümeler içeren veya hiç olmayan kümelerin önemini abartıyor. Sonuç olarak, birden fazla set üzerinden alınan ortalama puana hakim olabilir. Her bir öğeye eşit muamele etmek yerine, ilgili setin boyutuyla ters orantılı olarak ağırlık verir.
Kullanım durumları, Jaccard indeksi ile aynı değilse de benzerdir. Genellikle görüntü bölümleme görevlerinde veya metin benzerliği analizlerinde kullanıldığını göreceksiniz.
NOT: Burada bahsedilen 9'dan çok daha fazla mesafe ölçüsü vardır. Daha ilginç ölçümler arıyorsanız, şunlardan birine bakmanızı öneririm: Mahalanobis, Canberra, Braycurtis ve KL-divergence.
SON BEŞ YILIMI YANSIMA Beş yıl önce bir dizide bubble sort yapmamı isteseydin, seni görmezden gelirdim. Benden bağlantılı listenin ne olduğunu açıklamamı isteseydin, benimle konuşmayı kesmeni söylerdim.
Kaos teorisinde, Brezilya'da kanatlarını çırpan bir kelebeğin Teksas'ta farkında olmadan bir hortum oluşturabileceğini söylüyorlar. Belki öyledir.
Öz bileşimi ve SVD için yararlı olan doğrusal cebir temel kavramını anlayın Bu makalede, öz ayrıştırma veya tekil değer ayrıştırma (SVD) gibi matris çarpanlara ayırma yöntemlerini anlamanın ilginç bir yolu olan temel kavramını öğreneceksiniz. Tanımlar Temel, vektör uzaylarını (vektör setleri) tanımlamak için kullanılan bir koordinat sistemidir.
Erasmus programında yer alan 200 bin öğrenim değişimiyle bir veri setini analiz etmenin sonuçları 2011–12 1987'den beri, Erasmus programı her yıl yüz binlerce Avrupalı öğrenciye yurt dışında, başka bir Avrupa ülkesinde bir yarıyıl veya bir yıl geçirme fırsatı vermektedir. onlara kolay bir değişim süreci ve ekonomik destek sunuyor. Zihinlerini ve kalplerini Avrupa'nın çeşitli insanlarına, dillerine ve kültürlerine açan gerçekten değerli bir deneyim.
İstatistik, "sayısal veri yığınlarının toplanması, analizi, yorumlanması ve sunulmasıyla ilgilenen bir matematik dalı" dır. Programlama ve makine öğrenimini bir araya getirin ve veri bilimi için temel becerilerin oldukça iyi bir tanımına sahipsiniz.
Veri bilimi, çevrenizdeki dünyayı keşfetmenizi sağlar. Bir dizüstü bilgisayarınız, WIFI'nız ve bir fikriniz varsa, araçları ve konseptleri ilgilendiğiniz soruları yanıtlamanıza yardımcı olacaktır.
Dwayne Johnson'ın kızı Aquaman'i o kadar çok seviyor ki Jason Mamoa'nın kendi babasından çok daha havalı olduğunu düşünüyor.
Stars Hollow, 'Gilmore Girls' hayranları için mükemmel bir kasaba olabilir, ancak sakinleri aşkta şanslı değildi. Aslında, birkaç garip nişan vardı.
Prens Harry ve Meghan Markle'ın Netflix anlaşması birkaç yıl önce iş başında olabilirdi - herkesi şaşırtacak şekilde.
Emilia Clarke, Game of Thrones'da geçirdiği süre boyunca çok ciddi bir sağlık komplikasyonuyla uğraşıyordu, ancak çok az kişi bunu biliyordu.
İklim krizi su döngüsünü bozuyor. Bazı yerler çok fazla su alıyor, bazıları ise hiç su almıyor. Açıklayacağız.
İlk kuş tanımlama maceranızda size rehberlik edebilecek Merlin uygulamasıyla kuş gözlemciliği çok daha kolay. Oradan, basit.
Bu kurak zamanlarda mistik su cadılarına büyük talep var. Fakat bilim odaklı bir jeohidrologdan daha iyi yeraltı suyu bulma konusunda daha mı iyiler?
Aşılanmamış çocuklarla seyahat etmeyi düşünürken iki tür risk göz önünde bulundurulmalıdır – çocuk için doğrudan risk ve başkalarına bulaşma riski.
Her zaman "büyük git ya da eve git" söylenir. Bu özdeyişi destekleyen günümüzün Güzel Fiyatı veya Zarsız Corvette, eve veya istediğiniz yere götürebileceğiniz büyük bir blok değirmene sahiptir.
İnsanlar CSGO, PUBG, Fortnite veya herhangi bir rekabetçi oyunda avantaj elde etmek için her türlü şeyi dener. Ancak son zamanlarda, bir oyuncunun keskin nişancılığını geliştirmek için görkemli düşük kira çabalarını izlerken takılıp kaldım.
1995 yılında Nara'da Japonya'nın ilk başkenti Fujiwara'yı onurlandıran büyük bir sergi düzenlendi. Yardım eden sponsorlar ve ortaklar arasında, o sırada sadece VHS'de mevcut olan 27 dakikalık bir Street Fighter II filmini devreye alma zahmetine giren Capcom da vardı.
Dusty Hill Efsanevi Texas blues-rock üçlüsü ZZ Top'un sakallı, gürleyen basçısı Dusty Hill Salı günü öldü. 72 yaşındaydı.
Sunisa Lee, Brezilyalı Rebeca Andrade ve Rus Olimpiyat komitesi atleti Angelina Melnikova'yı yenerek etkinlikte birinciliği garantiledi
Rosie O'Donnell'in 90'lardaki en unutulmaz Hollywood anı, Madonna ile "vahşi" olarak adlandırdığı birkaç Oscar partisine katılmasıydı.
Nashville çifti kendi tutkularının peşinden koşarak, bir şeyler konuşarak ve o efsanevi şakaları yaparak kendi tarzlarını bulurlar.
Rosie O'Donnell Show 1996'dan 2002'ye kadar NBC'de yayınlandı.