Kâğıthane Deresi'nin Haliç'e ulaştığı noktaya yakın bir mevkide bulunan ve karaağaçlarla çevrili bir bağ olan bahçe, Defterdarzade İbrahim Paşa'nın mülkü iken, güzelliği ve havasının hoşluğu nedeni ile Sultan IV. Murad'ın ilgisini çeker ve sık sık burayı ziyaret etmesine neden olur. Muhtemelen İbrahim Paşa’nın 1643'teki vefatı sonrasında devlete intikal eden bahçede, Sultan IV. Mehmed'in bir kasır inşa ettirdiği (1672) bilinmektedir. Kuzeyinde Şeyhülislam Ebusuûd Efendi, güneyinde Koca Yusuf Paşa Bahçesi'nin bulunduğu bu alan, Sultan III. Ahmed dönemine kadar zaman zaman kullanılmıştır. 1677 Mart’ında Tersane Sarayı’nda çıkan bir yangın sonrası padişahin Karaağaç Yalısı’na taşındığı ve bir ay kadar burada ikamet ettiği bilinmektedir. Bu kısa süreli ikamet sırasında hoşuna gitmiş olmalı ki, 1682 de Karaağaç Sahilsarayı'na göç eden SuItan IV. Mehmed'in içoğlanları yer darlığı nedeni ile Koca Yusuf Paşa Bahçesi'ne yerleştirilirler. Bu kayıt bize Karaağaç Sarayı’nın padişahın bütün maiyeti ile konaklayacak kadar büyük olmadığını ve giderek Koca Yusuf Paşa bahçesinin Karaağaç Bahçesi'ne eklendiğini düşündürmektedir. XIX. yüzyıl Bostancıbaşı Defteri'nde adı hala Yusuf Efendi Bahçesi olarak anılsa da, bu alanın saraya ait olduğu görülmektedir. Eremya Çelebi'de Karaağaç Sarayı’nın adı geçmez. Anlaşılan, Çelebi'nin gözünde kayda geçecek kadar bir önemi yoktur. Sarayın devamlı kullanılan, önemli bir yapı olarak değer kazanması için, XVII. yüzyıl beklemek gerekecektir.
Sulan III. Ahmed döneminde büyük ilgi gören Karaağaç Bahçesi’nde yeni yapılar yapıldığı, mevcut yapıların tamir edildiği, haremde, ağa odalarında, iskelelerde ve bahçenin çeşitli noktalarında yeni düzenlemeler yapıldığı, yapıların boyandığı, hamam ve çeşmelere yeni lüleler takıldığı ve tüm bu çalışmaların 14.733 kuruş tuttuğu kaydedilmiştir. Silahtar Tarihi'nde Sultan III. Ahmed in sık sık Karaağaç Yalısı’na göç ettiği ve orada uzun süreli olarak kaldığı yazmaktadır. Yenilenen sarayın harem dairesinin kapısında bu dönemin bir nişanesi olarak Sultan III Ahmed tarafından yazılan bir beyit bulunmaktaydı.
Kadd-i dilber gibi dil eğlencesi
Gam-güsârm Karaağaç bahçesi
Sahilsaray'ın hemen yakınında Sultan III. Ahmed’in Babüssaâde Ağası Osman Ağa tarafından saray hizmetlileri için yaptırılan bir de hamam yer almaktaydı.
Karaağaç Yalısı’na ilgi Sultan I. Mahmud (1730-1754) döneminde de devam eder: 1745 tarihli bir ferman ile yal ve çevresindeki bahçe için İzmit'ten beş bin adet ikişer üçer yıllık ıhlamur, karaağaç, meşe, kocayemiş, çınar gürgen, diş budak ve bunlara benzer fidanlar getirilmesi emredilir. "...Bir gün Karaağaç’tan tebdil Dolmabahçe’yi gezerken..." Fındıklı Süleyman Efendi'nin H. 1173/1759-60 yılı vukuatını yazarken kayda geçtiği bu açıklama Sultan III. Mustafa’nın da zaman zaman Kara- ağaç Sarayı'nı kullandığını göstermektedir.
XIX. yüzyıl başlarında bölgeyi anlatan Hovhannesyan, "...Ötede, tatlı suyu bulunan Kırk Ağaç mevkiinde yazlık bir saray olan Karaağaç Sarayı'na ulaşırız. Derenin solundan kayıkla inilen Haliç Denizi'nde tuzlu suyun bittiği dere ağzından biraz yukarıda, hemen hemen Eyüp ün karşısında, sarayın duvarının yanında Türkçesi kara ağaç olan bodur ağaçlardan müteşekkil Kara Ağaç Bahçesi yer alır…’’ diyerek Saray ile Bahçenin farklı alanlarda bulunduğunu belirtmektedir.
Gerçekten Melling in XVII. sonlarına doğru çizdiği gravürde de sol köşede belli belirsiz, Karaağaç Sahil sarayı görülmektedir. Sahilsarayı takiben gelen içinde iki ayrı yapının göründüğü bahçe ise Yusuf Efendi Bahçesi'dir. Daha sonra ise 1814-15 tarihli Bostancıbaşı Defteri'nde sayıları on olarak bildiri- len, fakat resimde dokuz olarak çizilen "Şalupa Kayıkhanesi" gelmektedir.
XIX. yüzyılın başlarında Sultan III Selim'in saltanatının son dönemlerinde Karaağaç Sahilsarayı ve Bahçesi padişahın burayı sık sık ziyareti nedeni ile bakımlıdır. Ancak, Sultan II. Selim'in 1795/96 yılında Yusuf Efendi Bahçesi'ne yaptırdığı on adet fırkata/şaluba kayıkhanesinin yarattığı olumsuzluk büyük olasılıkla sarayın gözden düşmesine neden olmuştur. Giderek harap olan yapılar 1826 Ağustos'unda yıkılıp enkazının bir kısmı Kâğıthane’de Asâkir-i Mansûre-i Muhammedî için inşa olunan kışlaların yapımında kullanılmıştır.
XVII. yüzyıl ortalarından itibaren kullanılmaya başlanan bu sahilsaraydan günümüze hemen hemen hiç bir kalıntı ulaşmamıştır. 1859 yılında çekilen bir fotoğrafta şalupa kayıkhaneleri ve kuzeye doğru eski Yusuf Efendi Bahçesi içine yapılan bir fabrikaya ait görüntüler yer almaktadır. Geçmişteki saray alanında bugün artık yalnızca Miniaturk Gezi Parkı bulunmaktadır.
Tıpkı Karaağaç Sahilsarayı'nın yok olması gibi, onu anımsatan İstanbul'a ait bir deyiş de günümüzde bilinmez: "Sungurlu'yu sıyırtmış, Karaağaç'a kandil asmış.’’