18. yüzyılda yapılan bu saray yada yalı ismini 1. Abdülhamid’in kızı Esma Sultan’ dan alır. 1920 yılında çıkan büyük yangından sonra harabe haline gelen yapı uzunca bir sure depo olarak kullanılmıştır. 90’lı yıllarda The Marmara Otel tarafından alınıp restore edilmiştir.
Halen büyük oragnizasyonlarda kullanılmaktadır. Ayrıca İstanbul Muzik ve Caz Festivallerinde çeşitli konserlere ev sahipliği yapmaktadır.