Ja genau, das liegt daran, dass dein Computer das alte Kartenmaterial noch im Zwischenspeicher / Cache hat.
Mit STRG+F5 kannst du ein komplettes Neuladen erzwingen.

https://wiki.openstreetmap.org/wiki/Browser_cache