Babası onikinci süvari alayında veteriner cerrah olan Brett 12
yaşındayken, alayın Detling dolaylarına doğru hareket etmesi sonucunda
ailesiyle birlikte aynı bölgede bir köye yerleşti. Brett erken yaşlarda
astronomi ve resme aynı derecede ilgi duydu. 1851′de J. D. Harding’den
çizim dersleri almaya başladı. AyrıcaRichardRedgraveile çalıştı.
1853′de Kraliyet Akademisine girdi. Burada Ruskin ve William HolmanHunt’ın çalışmalarından etkilendi.