Victor Hugo, Joseph Léopold Sigisbert Hugo (1773-1828) ve Sophie Trébuchet'nin (1772-1821) oğluydu. Abel Joseph Hugo (1798-1855) ve Eugène Hugo (1800-1837) adında iki ağabeyi vardı. 1802 yılında Besançon'da (Doubs departmanında) doğdu. Hugo hayatının büyük bölümünde Fransa'da yaşadı. Napolyon III döneminde sürgüne gitti. 1851'de Belçika'da, Brüksel'de yaşadı. 1852'de Jersey'e taşındı. Guernsey'de yaşamaya başladığı 1855'ten 1870'e kadar orada kaldı. 1872-1873 yıllarında tekrar orada yaşadı. 1859'dan itibaren sürgünü kendi seçimiydi.
Hugo'nun erken çocukluk dönemine bazı büyük olaylar damgasını vurdu. Doğumundan birkaç yıl önce, Fransız Devrimi sırasında Bourbon Hanedanı devrildi. Birinci Cumhuriyet yükseldi ve yıkıldı ve Napoléon Bonaparte yönetiminde Birinci Fransız İmparatorluğu yükseldi. Napoléon, Hugo'nun doğumundan iki yıl sonra İmparator oldu. Bourbon Monarşisi Hugo 17 yaşındayken yeniden kuruldu. Anne ve babasının farklı siyasi ve dini görüşleri vardı. Hugo'nun babası bir subaydı. Napoléon'un ordusunda çok yüksek rütbeliydi. Ateist bir cumhuriyetçiydi ve Napoléon'u bir kahraman olarak görüyordu. Annesi ise aşırı Katolik bir Kraliyetçiydi. Hugo'nun babası subay olduğu için aile sık sık taşınıyordu. Victor Hugo bu seyahatlerden çok şey öğrendi. Paris'e dönmeden önce altı ay Napoli ve Roma'da kaldı. O zamanlar sadece beş yaşındaydı ama bu yolculuğu çok iyi hatırlıyordu.
Annesi Sophie, Napoli yakınlarındaki bir vilayetin valisi olan kocasıyla birlikte İtalya'ya gitti. Ayrıca Joseph'in üç İspanyol eyaletini yönettiği İspanya'ya da gittiler. Sophie, zor bir yaşam sürdüğü için 1803 yılında kocasından geçici olarak ayrıldı. Paris'e yerleşti. Bu, Hugo'nun eğitimine hakim olduğu anlamına geliyordu. Bu nedenle Hugo'nun erken dönem eserleri, özellikle de şiirleri, monarşizmi ve inancı övdüğünü gösterir. 1848 Devrimi Hugo'yu Katolik Kraliyetçi eğitimine karşı isyan ettirdi. Bu devrimden sonra cumhuriyetçiliği ve özgür düşünceyi tercih etti.
Victor Hugo gençken aşık oldu. Annesinin isteğine rağmen çocukluk arkadaşı Adèle Foucher (1803-1868) ile gizlice nişanlandı.
Annesinin 1821'deki ölümünden sonra 1822'de Adèle ile evlendi. İlk çocukları Léopold (1823 doğumlu) bebekken öldü. Hugo'nun Léopoldine (28 Ağustos 1824), Charles (4 Kasım 1826), François-Victor (28 Ekim 1828) ve Adèle (24 Ağustos 1830) adlarında dört çocuğu daha oldu. Hugo ilk romanını 1823 yılında yayımladı (Han d'Islande). İkinci romanı üç yıl sonra yayımlandı (Bug-Jargal, 1826). 1829-1840 yılları arasında beş cilt şiir daha yayımladı (Les Orientales, 1829; Les Feuilles d'automne, 1831; Les Chants du crépuscule, 1835; Les Voix intérieures, 1837; ve Les Rayons et les ombres, 1840). Bu, zamanının en büyük elejik ve lirik şairlerinden biri olarak ünlenmesine yardımcı oldu.
En büyük ve en sevdiği kızı Léopoldine'in ölümü Hugo'yu çok üzdü. Léopoldine 1843 yılında, 19 yaşındayken öldü. Bu, evliliğinden kısa bir süre sonraydı. Villequier'de Seine Nehri'nde boğuldu. Bir tekne devrildiğinde ağır etekleri onu aşağı çekmişti. Kocası onu kurtarmaya çalışırken öldü. O sırada Victor Hugo metresiyle birlikte Fransa'nın güneyinde seyahat ediyordu. Léopoldine'in ölüm haberini bir kafede otururken bir gazeteden öğrendi. Yaşadığı şoku ve üzüntüyü À Villequier adlı şiirinde anlatır:
Hélas! vers le passé tournant un oeil d'envie,
Sans que rien ici-bas puisse m'en consoler,
Je regarde toujours ce moment de ma vie
Où je l'ai vue ouvrir son aile et s'envoler!
Je verrai cet instant jusqu'à ce que je meure,
L'instant, pleurs superflus!
Où je criai : L'enfant que j'avais tout à l'heure,
Quoi donc! je ne l'ai plus!
Ne yazık ki! Geçmişe kıskanç bir gözle bakarak,
yeryüzündeki hiçbir şey tarafından teselli edilemeyerek, hayatımın o anına bakmaya
devam ediyorum,
onun kanatlarını açıp uçup gittiğini gördüğüm ana
!
Ölene kadar o anı göreceğim,
o anı
-gözyaşları
için çok fazla! haykırdığım anı:
"Az önce sahip olduğum çocuk--ne
! Artık ona sahip değilim!"
Bundan sonra kızının hayatı ve ölümü hakkında birçok şiir yazdı. En ünlü şiirlerinden biri muhtemelen Demain, dès l'aube'dir. Bu şiirde kızının mezarını ziyaret edişini anlatır.