Kudüs şehrinin kimler tarafından ve hangi tarihlerde kurulduğu kesin olarak bilinmemektedir. Ancak Nuh Aleyhisselamın torunu ve Ham'ınoğlu Ken'an'ın neslinden gelen Ken'anilerin kurduğu bir site olduğu zan edilmektedir. Musa aleyhisselam kardeşi Harun aleyhisselamla birlikte İsrailoğullarını Allahü tealanın emriyle Fir'avn'ın zulmünden kurtarıp Mısır'dan çıkardılar. İçinde Kudüs'ün de bulunduğu Arz-ı Mev'ud denilen bölgeye götürmek üzere yola çıktılar. Fakat İsrailoğulları taşkınlık yapıp Musa aleyhisselamı dinlemediler. Arz-ı Mev'ud'da zalim ve kuvvetli hükümdarların bulunduğunu ileri sürerek Musa aleyhisselamla birlikte harbe gitmekten çekindiler. Allahü teala hazret-i Musa'nın bedduası üzerine İsrailoğullarına kırk yıl Arz-ı Mev'ud'a girmeyi haram kıldı. İsrailoğulları kırk sene yersiz, yurtsuz, vatansız bir şekilde Tih sahrasında şaşkın şaşkın dolaşıp durdular.
Kendilerine gönderilen peygamberlere isyan eden İsrailoğulları diğer kavimlerin esareti altına düştüler. Daha sonra Davud aleyhisselam hükümdar oldu. Kudüs'ü tekrar aldı. Böylece İsrailoğullarının en parlak zamanı başladı. İsrail Devleti M.Ö. 721'de Asuriler, sonra da Yehuda Devleti M.Ö. 586'da Babilliler tarafından yıkıldı. Hıristiyanlığın yayılması ve Bizans imparatorlarının Hıristiyanlığı kabul etmeleri üzerine, Mescid-i Aksa'yı tamir edip Kudüs'ü imar ettiler. İmparatorluğun hakimi durumunda olan Hıristiyanlar için mukaddes bir şehir hüviyetine giren Kudüs'te hazret-i Meryem'in hazret-i Isa'nın ve havarilerin hatıralarına birçok kiliseler yaptırdılar. Kudüs, Hıristiyanların dini merkezi haline geldi. Hıristiyanlar hac için Kudüs'e gelip kutsal yerleri ziyaret ettiler. Kudüs 614 senesinde Sasaniler tarafından istila edildi. Sasaniler kadın ihtiyar, çocuk demeden Kudüs ahalisini kılıçtan geçirdiler ve kiliseleri tahrib ettiler. Sasaniler daha sonra geri çekildiler. 638 (H.16) senesinde hazret-i Ömer Kudüs'ü muhasara etti. Hıristiyanlar cizye vermeyi kabul ederek Müslümanların himayesine girdiler
Abbasi halifeleri El-Mansur, El-Mehdi ve El-Me'mun Kudüs'ü ve Mescid-i Aksa'yı tamir ettiler. Abbasilerin siyasi otoritesi zayıflayınca, Kudüs önce Tulunoğulları, daha sonra Eshab-ı kiram düşmanı Fatımilerin hakimiyeti altına girdi. Fatımiler Ehl-i sünnet Müslümanlara zulüm ve işkence yaptıkları gibi Hıristiyan ve Yahudilere de işkence yaptılar. Hıristiyanların kiliselerini ve Yahudilerin mabetlerini yıktılar. Selçuklular Fatımi hakimiyetine son verdikten sonra, Selçuklu komutanı Atsız, Kudüs'ü 1070 senesinde Fatımiler den aldı. Sultan Selahaddin-i Eyyubi 1187 (H.583) senesinde Kudüs'ü Haçlılardan kurtarıp Mescid-i Aksa'dan haçları ve putları kaldırttı. Eski haline getirip yeni bir mihrab yaptırdı. Selahaddin-i Eyyubi Kudüs halkına çok iyi davrandı. Vergileri indirdiği gibi, Haçlıların kilise haline çevirdikleri camileri eski durumlarına getirdi. 1244 senesinde Kudüs tekrar Hıristiyanların eline geçti. Mısır Eyyubi Hükümdarı Es-Salih Necmeddin Harezmlileri yardıma çağırdı. Harezmliler Suriye'yi baştanbaşa geçerek Kudüs'ü ele geçirdiler. Böylece Kudüs Mısır Eyyubilerinin hakimiyetine girdi. Bundan sonra Kudüs Müslümanlar elinde kaldı. Fakat daha sonra Moğolların istilasına uğrayan Kudüs harabe haline geldi. Mısır'da Eyyubi Devletinin yerine Memlukler geçince, Moğolları geri püskürtüp Kudüs'ü de işgalden kurtardılar. Kudüs şehri 1517 senesinde Yavuz Sultan Selim Han tarafından Osmanlı topraklarına katıldı. Kanuni Sultan Süleyman Kudüs'ün surlarını yaptırdı ve Kubbet-üs-Sahra Camiinin mozayik kaplamalarını kaldırtarak, yeşil ve sarı ile karışık mavi çini ile kaplattı.
Napoleon Bonaparte Akka kalesini kuşattığı zaman bir kısım Fransız kuvvetlerini de Kudüs üzerine sevk etti. Fakat Fransızlar Türk kuvvetlerine yenilerek geri çekildiler. Daha sonra Kavalalı Mehmed Ali Paşanın hakimiyetinde kaldı. Sultan Abdülmecid Hanın tahta geçmesini müteakip, 1840 senesinde yapılan bir anlaşmayla Kavala'lı Mehmet Ali Paşa Kudüs'ten çekildi. Osmanlı hakimiyeti Birinci Dünya Harbine kadar devam etti. 14 Mayıs 1948'de İngiltere Kudüs üzerindeki koruma rejimine son verdi. Aynı gün İsrail Devleti kuruldu. İsrail Devleti Kudüs'ü de içine alırken, Ürdün, Filistin'in geri kalan bölümünü eski Kudüs şehriyle birlikte ilhak etti. Bir müddet sonra İsrail hükümeti nin birkaç bakanlığı Kudüs'e taşındı. 1967 Arap-İsrail (altı gün) savaşı sırasında Kudüs'ün Ürdün kesimi İsrail birlikleri tarafından işgal edildi. Kudüs'de bulunan masum ve korumasız Müslüman-Araplara her gün akla gelmedik işkence ve zulüm yapıldı. İsrail parlamentosunun 30 Temmuz 1980 tarihli kararıyla Birleşik Kudüs İsrail'in başkenti ilan edildi. Günümüzde aynı durum devam etmektedir.