Muhtemelen "temel teori" ile ne anlama geldiğine bağlıdır, ancak tam tersine iddialara rağmen, bazıları çok genel olan derin öğrenmede titiz nicel teori eksikliği yoktur.
Bunun iyi bir örneği, enerjiye dayalı öğrenme yöntemleri üzerine çalışmaktır. Örneğin, Neal & Hinton'un varyasyonsal çıkarım ve serbest enerji konusundaki çalışmaları: http://www.cs.toronto.edu/~fritz/absps/emk.pdf
Ayrıca Yann LeCun ve meslektaşları tarafından "birçok öğrenme modeli için ortak teorik çerçeve" olarak enerji minimizasyonu kılavuzu: http://yann.lecun.com/exdb/publis/pdf/lecun-06.pdf
Ve Scellier ve Bengio'nun enerji tabanlı modeller için genel bir çerçevesi:
https://arxiv.org/pdf/1602.05179.pdf
Hinton ve Sejnowski'nin belirli bir Hopfield'den ilham alan ağ + denetimsiz öğrenme algoritmasının Bayes-optimal çıkarımını yaklaşık olarak tahmin edebileceğini analitik olarak gösteren daha önceki çalışmaları da var: https://papers.cnl.salk.edu/PDFs/Optimal%20Perceptual%20Inference%201983 -646.pdf
Derin öğrenmeyi teorik sinirbilim ile ilişkilendiren birçok makale vardır, örneğin aşağıdakiler, geri yayılımın etkilerinin biyolojik olarak makul sinir mimarilerinde elde edilebileceğini gösterir:
https://arxiv.org/pdf/1411.0247.pdf
Tabii ki birçok açık soru var ve tartışmasız tek bir birleşik teori yok, ama hemen hemen her alanda aynı şey söylenebilir.