Haremin başında kim vardı? Osmanlı’da her şeyin başı Padişahtı. Harem de padişahın sorumluluğundaydı. Ancak padişahın haremle ilgili haklarını “Kızlar Ağası”, ya da “Harem Ağası” denilen iğdiş edilmiş bir erkek kullanırdı. Kızlar Ağası sadece padişahtan ve sadrazamdan emir alırdı. Kızlar Ağası, genellikle Mısır’da yetiştirilmiş, sonra da iğdiş edilmiş bir Arap olurdu. Harem’in iç bölümlerinden ise “Haznedar Usta” adındaki bir kadın sorumluydu.