Ancak, 1961 yılı sonlarına doğru Amerika'dan dönmeleri ayrılmalarına sebep oldu. Nilüfer Aydan, 1963 yılında yönetmen Halit Refiğ ile evlendi. Bu evliliğin de kısa sürmesinin ardından, 1969 yılında en son evliliğini yaptı ve sinema kariyerine 1983 yılına kadar ara verdi. Bu zaman zarfı içerisinde tekrar bir erkek evladı, Kayhan Yılmaz, 1970 yılında dünyaya geldi.