Victor Hugo, Joseph Léopold Sigisbert Hugo (1773–1828) ve Sophie Trébuchet (1772–1821) çiftinin üçüncü oğluydu; Abel Joseph Hugo (1798–1855) ve Eugène Hugo (1800–1837) isminde iki ağabeyi vardı. 1802'de Besançon'da doğdu. Napolyon'un bir kahraman olduğunu düşünen serbest fikirli bir cumhuriyetçiydi. Annesi 1812'de Napolyon'a karşı komplo kurduğu için idam edilen General Victor Lahorie ile sevgili olduğu düşünülen Katolik bir Kralcıydı
Hugo'nun çocukluğu ülkede siyasi karmaşıklığın olduğu bir dönemde geçti. Doğumundan iki yıl sonra Napolyon İmparator ilan edilmiş, 18 yaşındayken de Bourbon Monarşisi yeniden tahta geçirilmişti. Hugo'nun ailesinin ters dini ve politik görüşleri Fransa'da egemenlik mücadelesi veren kuvvetleri yansıtıyordu. Hugo'nun babası İspanya'da yenilene kadar orduda yüksek rütbeli bir subaydı.
Babası subay olduğu sürece aile sık sık taşındı ve bu yolculuklar sırasında Hugo pek çok şey öğrendi. Çocukluğunda Napoli'ye giderken geniş Alpler'deki geçitleri ve karlı zirveleri, muhteşem Akdeniz mavisini ve şenlikler yapılan Roma'yı gördü. 5 yaşında olmasına rağmen bu 6 aylık geziyi her zaman aklında tuttu. Aile Napoli'de birkaç ay kalıp doğruca Paris'e döndü.
Hugo'nun annesi Sophie evliliğinin başında kocasına İtalya (Leopold Napoli'ye yakın bir vilayette valiydi) ve İspanya'ya (üç vilayette görev almıştı) kadar eşlik etti. Askeri hayatın getirdiği yorucu yolculuklar ve kocasının inancının zayıflığı nedeniyle ters düşmelerinden dolayı Sophie 1803'te Leopold'dan bir süreliğine ayrılıp üç çocuğuyla Paris'e yerleşti. Bundan sonra Hugo'nun eğitimi ve yetişmesi üzerine eğildi. Bu yüzden Hugo'nun kariyerinin ilk dönemindeki şiir ve kurgu çalışmaları annesinin inancının ve krala bağlılığının yansımasıydı. Ama başını Fransa'daki 1848 Devrimi'nin çektiği olaylar sırasında Katolik Kralcı yanlısı eğitime başkaldırıp Cumhuriyetçiliği ve Özgür düşünceyi desteklemeye başladı.
Gençliğinde aşık oldu ve annesinin isteklerine karşı gelip çocukluk arkadaşı Adèle Foucher (1803–1868) ile gizlice nişanlandı. Annesi ile yakın ilişkisinden dolayı Adèle ile evlenmek için annesinin ölümüne (1821) kadar bekledi ve 1822'de evlendi.
Adèle ve Victor Hugo'nun ilk çocuğu Leopold 1823'te doğdu ama doğduktan kısa süre sonra öldü. Sonraki sene kızları 28 Ağustos 1824'te Léopoldine doğdu. Onu 4 Kasım 1826'da doğan Charles, 28 Ekim 1828'de doğan François-Victor, ve 24 Ağustos 1830'da doğan Adèle takip etti.
Hugo'nun en büyük ve en sevdiği kızı Léopoldine, Charles Vacquerie ile evliliğinden kısa süre sonra 19 yaşındayken 1843'te öldü. 4 Eylül 1843'te Seine nehrinde boğuldu. Gemi alabaro olduğundan ağır eteği tarafından dibe doğru çekildi ve kocası Charles Vacquerie de onu kurtarmaya çalışırken öldü. O zaman metresi ile Fransa'nın güneyinde seyahat etmekte olan Hugo kızının ölümünü oturduğu cafede okuduğu bir gazeteden öğrendi. Kızının ölümü Hugo'yu oldukça harap etti.
Sonraları da kızının yaşamı ve ölümüyle ilgili birçok şiir yazdı. Bir biyografi yazarına göre de bundan asla vazgeçmedi. En ünlü şiiri Demain, dès l'aube kızının mezarına yaptığı bir ziyareti anlatır.
III. Napolyon'un 1851 yılının sonundaki askeri darbesi sebebiyle sürgüne çıktı. Fransa'dan ayrıldıktan sonra, Channel Adaları'na gitmeden önce kısa bir süre Brüksel'de yaşadı. 1852'den 1855'e kadar Jersey'de yaşadı. 1855'te 15 yıl yaşayacağı Guernsey'e taşındı. III. Napolyon 1859'da genel af ilan ettiğinde ülkesine dönme fırsatı elde ettiyse de sürgünde kalmayı tercih etti. Kaybedilen Fransa-Prusya Savaşı'nın sonucu olarak III. Napolyon iktidardan çekilmek zorunda kalınca ülkesine döndü. Paris Kuşatması'ndan sonra hayatının geri kalanını Fransa'da geçirmek için geri dönmeden önce tekrar Guernsey'e taşınıp 1872 ve 1873 arası orada kaldı.