Ciociaria’nın küçük bir köyü olan Fontana Liri’de doğan Mastroianni Torino ve Roma’da büyüdü. 1938-1943 yılları arasında birçok tiyatro oyununda küçük roller aldı. II. Dünya Savaşı sırasında çalışmaları kesintiye uğradı, bir Nazi hapishanesinde bir süre kaldı ama kaçmayı başararak Venedik’te saklandı.
1945’te oyunculuk dersleri alarak sinema endüstrisinde çalışmaya başladı. İlk filmi olan ve Victor Hugo'nun romanından uyarlanan I miserabili (Sefiller), 1948 yılında gösterime çıktı.
1955 yılına kadar filmlerde küçük ve ikinci dereceden roller üstlendi. Ama her türlü role uyabilme kapasitesi ile kısa zamanda baş rollere çıkmaya ve ünlü yönetmenlerle çalışmaya başladı. Vicconti’nin Beyaz Geceler filminde başrolü üstlendi.
1960’ta çevrilen, Federico Fellini’nin yönetmenliğini yaptığı ve kısa zamanda kült film haline gelen La dolce vita (Tatlı Hayat), ömrünün sonuna kadar peşini bırakmayacak olan Latin Âşık yakıştırmasının doğmasına neden oldu. Ama Marcello, komediden politik filmlere ve dramlara her türlü rolde inandırıcı portreler çizdi.
İtalyan tiyatro oyuncusu Flora Carabella ile 1948’de yaptığı evlilikten 1951 yılında doğan kızı Barbara, sinema sektöründe kostüm dalında çalışmayı seçti. Marco Ferreri’nin Lisa filminde tanıştığı Fransız oyuncu Catherine Deneuve ile ilişkisinden 1972 yılında doğan kızı Chiara ise bir oyuncu. Chiara, babasının son filmleri olan Les Yeux noirs (Siyah Gözler) ve Trois vies et une seule mort'da onunla birlikte rol aldı.
Marcello Mastroianni pankreas kanseri sonucu 19 Aralık 1996'da Noel’den beş gün önce Paris'te öldü.