Topkapı Sarayı Müzesi Arşivi’nde bulunan ve daha önce "At Meydanı Sarayı" olarak bilinen İbrahim Paşa Sarayı adını Kanuni Sultan Süleyman'ın damadı ve ikinci veziri olan Pargalı Damat İbrahim Paşa'dan almıştır.
16. yüzyıl Osmanlı sivil mimari örneklerinin en önemlilerinden olan saray, İstanbul Emini Ömer Ağa tarafından dönemin padişahı Kanuni Sultan Süleyman’a devredilmiştir.
Kanuni Sultan Süleyman ise sarayı onarımdan geçirtmiş ve kardeşinin eşi İbrahim Paşa’ya sarayı hediye etmiştir.
Sadrazamlığa yükselen İbrahim Paşa’nın düğününün de gerçekleştiği 4 avludan oluşan saray, 16 Mayıs 1525 gecesi meydana gelen bir ayaklanmada büyük zarar görmüştür.
Günümüzde Türk ve İslâm Eserleri Müzesi olarak kullanılan tarihi yapıyı İbrahim Paşa, tamir ettirmiştir.
Budin seferinde ele geçirdiği heykelleri de 1526’da binanın önüne diktirmiştir. Bu heykeller onun başına bela olmuş şehrin ortasına putlar diktirdiği tenkitlerinden sonra heykelleri kaldırtmak zorunda kalmıştır.
18 Haziran 1530’da şehzadelerin sünnet düğünü için bir kasır inşa edilmiş ve Kanuni Sultan Süleyman buradan bir ay boyunca süren törenleri izlemiştir.
Pek çok düğün, şenlik ve kutlamanın yanı sıra, karışık dönemler ve isyanlara da sahne olan saraya İbrahim Paşa’nın 1536’da idamı üzerine devletçe el konmuştur. İlerleyen dönemlerde Zal Mahmud Paşa’ya tahsis edilen tarihi yapı, sultan sarayları haricinde günümüze ulaşan tek saraydır.