1778 yılında Londra’da doğdu. Anne ve babasının ölümünden sonra bir portre ressamından resim dersleri alan Varley on altı yaşındayken topoğrafya ressamı olan bir mimarla tanıştı. Bu sıralarda Turner ile de tanışan Varley, onunla çalışma fırsatı buldu. 1798 yılında ilk defa Kraliyet Akademisinde “Peterborough Katedrali Görünümü” adlı eserini sergiledi. 1804 yılında Sulu Boyacılar Derneğinin kurucu üyeleri arasında yer aldı. Varley’in manzaraları; titizlikle yapılmış, çok zarif ve duygu yüklü eserlerdi. Genellikle dağ ve göl manzaraları ile bilinen ressam 1842 yılında Londra’da hayatını kaybetti.