İlk evliliğini 1951'de Helena Margaret White ile yapan Davenport'un Laura ve Hugo adlarında iki çocuğu oldu. Bu evliliği 1960'ta sona erdi. 1972'de bir başka oyuncu Maria Aitken'la evlenen Davenport, 1973'te Jack adında bir erkek çocuğuna daha sahip oldu. 1981'de bu evliliği de sona ererken, Jack Davenport ilerleyen yıllarda ünlü bir oyuncu olmuştur.