Habe die Gebäude jeweils mit einem Fussweg mit der Strasse verbunden, etwas anderes lässt sich da nicht machen. Wie habi aufgezeigt hat, ist das Routing hier sogar korrekt (zumindest mit valhalla ;)
https://www.openstreetmap.org/changeset/179033507