Rivayete göre; Doğu Roma İmparatoru I. Theodosius zamanında (375-395) Atina'dan gelen Barnabas, Sophranios isimli iki rahip tarafından kurulmuş olan manastır, 6. yüzyılda İmparator Justinianus'un manastırın onarılarak genişletilmesini istemesi üzerine generallerinden Belisarios tarafından onarılmıştır.
Sümela Manastırı'nı şimdiki durumuyla varlığını 13. yüzyıldan itibaren sürdürdüğü bilinmektedir. 1204 tarihinde kurulan Trabzon Komnenosları Prensliğinden III. Alexios (1349-1390) zamanında manastırın önemi artmış ve fermanlarla gelir sağlanmıştır. III. Alexios 'un oğlu III. Manuel ve sonraki prensler döneminde de Sümela yeni fermanlarla zenginleştirilmiştir.
Doğu Karadeniz kıyılarının Türk egemenliğine girmesini takiben Osmanlı padişahları pek çok manastırda olduğu gibi Sumela'nın da haklarını korumuşlar, bazı imtiyazlar vermişlerdir.
Sümela Manastırı'nın 18. yüzyılda birçok bölümü yenilenmiş, bazı duvarlar fresklerle süslenmiştir. 19. yüzyılda büyük binaların ilave edilmesi ile manastır muhteşem bir görünüm kazanmış, en zengin ve en parlak dönemini yaşamıştır.
Trabzon'un 1916-1918 yılları arasında Rus işgali sırasında manastıra el konulmuş, 1923'ten sonra tamamıyla boşaltılmıştır.
Sümela Manastırı'nin başlıca bölümleri; Ana kaya kilisesi, birçok şapel, mutfak, öğrenci odaları, misafirhane, kütüphane ile kutsal ayazmadır. Bu yapılar topluluğu oldukça geniş bir alan üzerine inşaa edilmiştir.