Çocukluk yılları, Washington, Bellingham'daki Samish Nehri kenarındaki karavan kasabasında geçti. Sonraları 2. Oscar'ını kazandıkdan sonra şöyle diyecekti:
Bunu hakedecek ne yaptım bilmiyorum. Ben sadece karavan kasabasından gelen hayalleri olan kızım.
Ailesinin, Hilary henzüz 15 yaşındayken ayrılmasının ardından annesi ile birlikte Kaliforniya'ya taşındı. Beş parasız olmaları sebebiyle arabalarında yatıyorlardı. 16 yaşında aktörlük tutkusu yüzünden okulunu bıraktı. Annesinin de kendini desteklemesi kuşkusuz Hilary için büyük moral kaynağıydı.
Çok geçmeden onları arabada yaşamaktan kurtaracak işler buldu. "Evening Shade" ve "Growing Pains" gibi televizyon programlarında yer aldı.
İlk Oscar'ını kazandıkdan hemen sonra oynadığı Boys Don't Cry çekimleri için günde 75 Dolar teklifini kabul etti. Toplam 3000 Dolar kazandığı film çekimleri sonrası herkes onun kalbinde yatan alçak gönüllülüğünü konuşur olmuştu.
O dönemler kazancı okadar düşükdü ki hayat sigortasını ödeyecek kadar kazanamıyordu.
15 Ocak 2005'te Yeni Zellanda'ya yaptığı bir uçuşta havalimanına indiğinde "yanına aldığı elma ve portakalı beyan etmemesi" sebebi ile Manukau yasaları gereği 230 Yeni Zellanda Doları ile cezalandırıldı.
1997'de aktör Rob Lowe'ün kardeşi Chad Lowe ile evlenen Hilary Swank'ın evliliği kendi sözleriyle mutlu bir şekilde devam etmekde.