Sille’nin en önemli tarihi varlıklarından birisi de Sille güneyindeki mağara kiliseleridir. Dağ yamacındaki kayalara oyulmuş çok sayıda Erken Hristiyanlık dönemine ait kilise bulunmaktadır. Bu kiliselerin tavan,taban ve duvarları çeşitli resimlerle süslenmiş olup, resimlerin birçoğu varlığını sürdürmektedir. Bunlardan en tanınmış olanı kaya ve toprağın oyulması ile yapılmış olan Banaya Kilisesi’dir. Birçoğu daha sonraki dönemlerde gerek dış etkenler, gerekse bakımsızlıktan dolayı tahrip olmuştur. Bu kiliseler Kapadokya ve Ihlara vadisindeki kiliselere benzerlik göstermektedir.