Dolmabahçe Sarayı gibi tek bir yapı halinde değil, Marmara denizi sahilinden başlayarak kuzeybatıya doğru yükselip sırt çizgisine kadar tüm yamacı kaplayan bir bahçe ve koruluk içine yerleşmiş saraylar, köşkler, yönetim, koruma, servis yapıları ve parklar bütünüdür.
Bu bölge Kanuni döneminden (1520-1566) başlayarak padişahlar için bir avlanma yeri olmuştur. Saray arazisi ile ne oranda örtüştüğü kesin olarak bilinmese de "Civan Kapucıbaşı Bahçesi", "Kazancıoğlu Bahçesi" adını taşıyan bahçe ve koruluklar büyük olasılıkla Yıldız Sarayı arazisini de içermekteydi. Bu bahçeler I. Ahmed döneminde (1603-1617) padişah bahçeleri arasına katıldı.
Bundan sonra bölgeye değişik zamanlarda, gereksinim oldukça birçok yapı eklenmiştir. Devrinin en özenle yapılmış yapıları arasında sayılabilecek olan bu yerler, burayı yapı bakımından bir yaşam alanı haline getirmiştir.
Sultan Abdülhamit'in 1909 yılında 31 Mart Vakası'ndan sonra tahttan indirilmesi üzerine saray bir halk kalabalığı tarafından yağmalanmış ve kısmen yakılmıştır. Bu yağmalama eylemi sırasında, Abdülhamit'e bildiri vermiş veya polis ajanı olarak çalışmış olan kişilerin kendilerine ait belgeleri arayarak yok etmeye çalıştıkları anlatılır.