M. Ö. 800'de inşaa edildiği tahmin edilmektedir, Kabe, putperestlerin ve paganların putlarının bulunduğu bir yapıydı. Birçok put ile birlikte İbrahim, İsmail,İsa ve Meryem'in figürlerinin de yer aldığı kaydedilmiştir. İslam dininin peygamberi Hz.Muhammed Kabe'de köklü değişikliklere gitmiş ve put sayılmayan Hacerül-Esved'in dışındaki bütün putları kaldırmıştır.
Kur'an'da İbrahim ve İsmail peygamberler tarafından Kabe'nin temellerinin yükseltildiği yazar. Bu ayetin meali tartışmalı olmakla birlikte genel olarak İslam'da Kabe'nin ilk olarak Adem tarafından yapıldığına ancak ondan geriye sadece temellerinin ayakta kaldığına inanılır:
"Hani İbrahim, İsmail ile birlikte evin (Kâbe'nin) temellerini yükseltiyor, "Ey Rabbimiz! Bizden kabul buyur! Şüphesiz sen hakkıyla işitensin, hakkıyla bilensin" diyorlardı."
Kâbe, tarih boyunca birçok değişikliklere maruz kalmıştır. Çeşitli dönemlerde kısmen ya da bütünüyle yeniden inşa edilmiş ve günümüzdeki haline ulaşmıştır. Günümüzde Kabe'yi barındıran Mescid-i Haram, toplam 361.000 metrekarelik bir alanı kapsamaktadır.
Kâbe'nin etrafını çeviren ve Kâbe yüksekliğini aşmayan kubbeli yapı (revaklar), Osmanlı padişahı II. Selim zamanında yapılmış, planlarını Mimar Sinan hazırlamıştır.
Kabe'yi ilk inşa ettirenin İbrahim olduğu iddia edilmektedir. Yapı olarak 145 metrekarelik bir alana sahiptir. Yüksekliği 16 metredir. 630 yılında yüksekliğinin bundan daha az olduğu, Mekke'nin fetih günü Muhammed peygamberin damadı Ali'yi omuzlarına çıkarıp onun da Kâbe'nin üzerindeki putları aşağı indirip kırdığına dair rivayet edilen hadisten anlaşılabilir.
İslamiyetten önce de Araplar tarafından kutsal sayılan Kabe'de 360 tane put bulunmaktaydı. Bunların en büyüğü en güçlüsü al-ilahi idi ve Güneş'le evliydi, üç tane de kizları vardi. Al-uzza, al-menat ve al-lat. Mekke'nin fethinden sonra (630) putlar atılmıştır. Yezid ve İbn-i Zübeyr savaşında Kâbe mancınık atışından isabet alarak yıkılmış ve yanmıştı. İbn-i Zübeyr Kâbe'yi yıkıp yeniden inşa etti. Mervan döneminde ise Kâbe eski haline döndürüldü.
Kanuni tarafından onarılan Kabe, 5. onarımını I. Ahmed döneminde görmüş, IV. Murad döneminde yine sel baskını sonucu yıkılmış ve hemen onarılmıştır. Kabe'nin içinde 9 adet oyma, 1 adet altın kabartma ayet, işlemeli tahta bir sandık, oymalı ve içinde tütsü yakılan tarihi bir ocak, metal zemzem testileri ve kandiller bulunuyor.