Glasgow'da doğan Martin, futbolculuk kariyerine Hamilton Academicals ile başladı. Daha sonra Hull City takımına geçti. 1927-28 sezonun devre arasında Everton FC ile sözleşme imzaladı ve 10 maçta forma giydi. Bu sezonda takımı Lig Şampiyonluğu'nu kazandı. Kulübü 1930'da küme düştü ve 1931'de tekrar Birinci Lige yükseldi. Sadece 2 maçta forma giydiği, 1931-32 sezonunda kulübü Birinci Lig şampiyonu oldu. Everton'dan ayrılan Martin, Middlesbrough takımına geçti ve daha sonra oyunculuk kariyerini de sonlandıracağı Luton Town takımında mücadele etti.
Luton Town takımında, Ağustos 1939 yılında antrenör ve 4 Aralık 1944 tarihinde aynı takımda teknik direktör oldu. Savaş sonrası ilk sezonda Luton takımını çalıştırdıktan sonra, Newcastle United takımının ilk teknik direktörü oldu ve burada Mayıs 1947'de II. Dünya Savaşı'nın bitimine kadar görev yaptı. Newcastle kulübündeyken şaşırtıcı şekilde, taraftarın çok sevdiği golcü futbolcu Len Shackleton'ı, 13.000 £ karşılığında Sunderland'a sattı. Bu bazı taraftarları endişelendirdi ve, Martin bu hareketi sonrası eleştirilmeye başlandı. Bununla beraber, Shackleton olmaksızın Newcastle'nın üst lige yükselmesi ve başka popüler futbolcuların alınması sonucunda, bu protestolar kısa ömürlü oldu. Alınan futbolcuların arasında, kulübün tüm zamanların en golcüleri arasında halen ikinci sırada bulunan Jackie Milburn da yer almaktaydı. Takımının Birinci Lig'de ilk altı arasında yerini pekiştirdikten sonra, 1950'de Newcastle'dan istifa etti ve Aston Villa'yı çalıştırmaya başladı. 1965'te Luton'a geri döndü ve bu takımı bir yıl çalıştırdıktan sonra ayrıldı.