Bu sayfa, Dizi Modelleri sözlüğü terimlerini içerir. Tüm sözlük terimleri için burayı tıklayın.
B
Bigram
N=2 olan N-gram.
E
patlayan gradyan sorunu
Derin nöral ağlardaki (özellikle yinelenen nöral ağlar) şaşırtıcı derecede dik olma (yüksek) eğilimi. Dik gradyanlar genellikle derin bir nöral ağda her düğümün ağırlıklarında çok büyük güncellemelere neden olur.
Patlayan gradyan sorunundan etkilenen modelleri eğitmek zor veya imkansız hale gelir. Kesitli kırpma bu sorunu hafifletebilir.
Artan gradyan sorunu ile karşılaştırın.
C
kapıyı unut
Hücre üzerinden bilgi akışını düzenleyen Uzun Vadeli Kısa Bellek hücresi kısmı. Kapıları unutun, hücre durumundan hangi bilgilerin silineceğine karar vererek bağlamı korur.
Y
gradyan kırpma
Bir modeli eğitmek için gradyan inişi kullanırken maksimum gradyan değerini yapay olarak sınırlayarak (sıkıştırmayı) kullanarak patlayan gradyan sorununu hafifletmek için yaygın olarak kullanılan bir mekanizma.
L
Uzun Kısa Bellek (LSTM)
Elle oluşturulan nöral ağda yer alan; el yazısı tanıma, makine çevirisi ve görüntü altyazıları gibi uygulamalardaki veri dizilerini işlemek için kullanılan bir hücre türü. LSTM'ler, uzun veri dizileri nedeniyle RNN'leri eğitirken oluşan yeni eksik gradyan sorununu ortadan kaldırır. RNN'deki önceki hücrelerden gelen yeni giriş ve bağlamlara göre geçmişi dahili bir bellek durumunda tutarak korur.
LSTM
Uzun Vadeli Kısa Hafıza ifadesinin kısaltması.
H
N-gram
N kelimeden oluşan sıralı bir dizi. Örneğin, gerçekten çılgın 2 gram şeklindedir. Alakalı bir sipariş olduğundan çok kızgın olmak, çılgınlıktan farklı bir 2 gramdır.
|H||Bu N-gram türünün adları||Örnekler|
|2||Bigram veya 2 gram||git, git, öğle yemeği, akşam yemeği|
|3||trigram veya 3 gram||çok fazla yemiş, üç kör fare, zil ücreti|
|4||4 gram||parkta yürüyüş, rüzgarda toz, mercimek yiyen çocuk|
Birçok doğal dil anlama modeli, kullanıcının yazacağı veya söyleyeceği bir sonraki kelimeyi tahmin etmek için N-gram'ları kullanır. Örneğin, bir kullanıcının üçüncü kör yazdığını varsayalım. TRigramları temel alan bir NLU modeli, büyük olasılıkla kullanıcının mikrofon yazacağını öngörür.
N-gramları kontrastsız kelime grupları olan kelime paketi ile karşılaştırın.
K
tekrarlayan nöral ağ
Kasıtlı olarak birden çok kez çalıştırılan, her çalıştırmanın bir kısmının sonraki çalıştırmaya kadar ilerlediği bir nöral ağ. Özellikle, önceki çalıştırmada yer alan gizli katmanlar, girişin bir kısmını sonraki çalıştırmada aynı gizli katmana verir. Yinelenen nöral ağlar, özellikle dizilerin değerlendirilmesi için yararlıdır. Böylece, gizli katmanlar dizinin önceki bölümlerinde nöral ağın önceki çalıştırmalarından bilgi alabilir.
Örneğin, aşağıdaki şekilde dört kez çalışan tekrarlayan bir nöral ağ gösterilmektedir. Gizli moddan ilk çalıştırmada öğrenilen değerlerin, ikinci çalıştırmada aynı gizli katmanlara yapılan girişin bir parçası haline geldiğine dikkat edin. Benzer şekilde, ikinci çalıştırmada gizli katmanda öğrenilen değerler, üçüncü çalıştırmada aynı gizli katman girişinin parçası haline gelir. Bu şekilde, tekrar eden nöral ağ, tek tek kelimelerin anlamlarını değil, tüm dizinin anlamını kademeli olarak eğitir ve tahmin eder.
49,99
Yinelenen nöral ağların kısaltması.
C
dizi modeli
Girişleri sıralı şekilde bağımlı olan bir model. Örneğin, önceden izlenen bir video dizisinden sonra izlenecek bir sonraki videoyu tahmin etmek.
T
zaman adımı
Yinelenen nöral ağ içinde "toplanmamış" bir hücre. Örneğin, aşağıdaki şekilde üç adım (t-1, t ve t+1 alt başlıklarıyla etiketlenmiştir) gösterilmektedir:
trigram
N=3'te bir N-gram.
V
kaybolan gradyan sorunu
Bazı derin nöral ağların erken gizli katmanlarının gradyanlarının şaşırtıcı şekilde düz olma (düşük) olma eğilimi. Artan gradyanlar, derin nöral ağdaki düğümlerin ağırlıklarında gitgide daha küçük değişikliklere neden olur. Bu da çok az öğrenmeye veya hiç öğrenmeye yol açmaz. Artık olmayan gradyan sorunundan etkilenen modelleri eğitmek zor veya imkansız hale gelir. Uzun Vadeli Kısa Bellek hücreleri bu sorunu çözer.
Patlayıcı renk geçişi sorunuyla karşılaştırın.