Kulüp, ilk kurulduğu tarih olan 13 Mayıs 1903'te bu şehirde bulunan Carl Zeiss firmasının çalışanlarından kurulu bir takımdı. 1 Temmuz 1904 yılına kadar bu özelliğini koruyan kulüp, bu tarihten sonra halka açılarak, firma bünyesinde çalışmayan kişileri de üye olarak kabul etmeye başladı.
Kulüp gerçekleştirdiği birçok isim değişikliğinden sonra (1917'de 1.SV Jena, 1946'da SG Ernst-Abbe Jena, 1948'de SG Stadion Jena, 1949'da BSG Carl Zeiss Jena, 1951'de önce BSG Mechanik Jena daha sonra BSG Motor Jena ve 1954'te SC Motor Jena) 20 Ocak 1966'da bugünkü ismini alarak FC Carl Zeiss Jena olarak yeniden kurulmuştur. Doğu Almanya Ligi'nde üç şampiyonluğu bulunan kulübün, 3,065 kayıtlı üyesi mevcuttur. Renkleri mavi, beyaz ve sarı olan kulübün tarihindeki en büyük başarısı ise 1981 yılında UEFA Kupa Galipleri Kupası'nda final oynaması olmuştur.
Carl Zeiss Jena ayrıca 1970-71 sezonunda Avrupa Kupalarında Fenerbahçe ile eşleşmiş, her iki karşılaşmada da rakibine üstünlük sağlayarak (4-0 ve 1-0) bir üst tura çıkmıştır.