Sayıştay, ilk kez 1876 yılında ilan edilen Kanun-i Esasi'nin 105-107 maddelerinde yer almış ve Anayasal bir kuruluş niteliği kazanmıştır. 1920 yılına kadar varlığını sürdüren Sayıştay, Ankara'da Türk Devleti'nin kurulması üzerine Osmanlı Dönemi Sayıştay'ı istanbul Hükümeti ile birlikte kaldırılmıştır. Osmanlı Dönemi Sayıştay'ının son başkanı Armanak Sakızlı açıkta kalmıştır. Mali işlerin daha iyi denetlenmesi amacıyla 29 Nisan 1923 tarihinde TBMM Hükümeti tarafından Sayıştay kurulmuştur.
Cumhuriyet döneminde, Sayıştay üyelerinin hükümetçe atanması sakıncalı görülerek 24 Kasım 1923 tarihinde 374 Sayılı "Divan-ı Muhasebat'ın Sureti intihabına Dair Kanun" çıkarılarak Sayıştay yeniden kurulmuştur. Mecliste tartışmalı geçen görüşmeler sonucunda Sayıştay, 20 Nisan 1924 Anayasasının 100. maddesinde yer almıştır.
Cumhuriyet döneminin ilk Sayıştay başkanı, A. Fuat Ağralı'dır. İsmet İnönü'nün Lozan danışmanlarından olan Ağralı, 12 Aralık 1923 tarihinde Sayıştay Başkanı seçilmiştir. Türkiye Cumhuriyeti'nde ilk kadın Sayıştay üyesi ise Fahrünisa Yetmen'dir.