Kabah merupakan rumah ibadah pertama di muka bumi yang berbentuk persegi empat. Kabah sebenarnya sudah ada sebelum manusia turun ke bumi. Allah SWT memerintahkan kepada malaikat agar membangun tempat bertawaf seperti baitul makmur yang ada di langit. Baitul makmur merupakan tempat bertawaf para malaikat di langit. Dengan dibangunnya Ka’bah di bumi, maka malaikat-malaikat di bumi ber-Thawaf (mengelilingi) Ka’bah ini, sama dengan mengelilingi Baitul Makmur. Ritual Thawaf ini adalah sebuah ibadah yang dilakukan Malaikat (sama dengan Thawafnya umat islam ketika berhaji) yaitu suatu upaya dari para malaikat untuk mengharapkan rahmad dan maghfirah Allah.
Di bangunan Ka'bah itu pulalah, Nabi Adam mengumpulkan seluruh anak-anaknya untuk persidangan, perkawinan dan penentuan hak untuk Qabil dan Habil, sebagai putra pertama dan kedua dari seluruh anak-anak Nabi Adam. Setelah wafatnya Adam as. anak-anaknya membangun Kabah dengan tanah dan batu. Disebutkan bahwa yang membangunnya adalah nabi Syits as. Setelah itu Kabah terus ada dan terjaga sampai datang topan dan banjir di zaman Nabi Nuh a.s. lalu tenggelam dan hilang tempatnya. Bangunan kabah tetap hilang hingga datang masa Nabi Ibrahim as bersama anak dan istrinya ke lembah gersang tanpa air yang ternyata disitulah pondasi kabah dan bangunannya pernah berdiri. Lalu Allah SWT memerintahkan Nabi Ibrahim bersama Nabi Ismail untuk mendirikan kembali kabah di atas bekas pondasinya dahulu.
Ismail mengaduk pasir dengan semennya pada batu-batuan itu, lalu beliau melanjutkan dan membangun ka'bah hingga pada ketinggiannya. Lebar ukuran Kabah dibuat oleh Ibrahim adalah seperti berikut: " Dinding Timur adalah 48 kaki dan 6 inci " Dinding Hatim adalah 33 kaki " Dinding antara Hajar Aswad dan sudut Yamani adalah 30 kaki " Dinding Barat adalah 46.5 kaki.
Dalam sejarahnya setelah pembangunannya oleh Nabi Ibrahim, kabah pernah mengalami kehancuran akibat perang maupun bencana alam sehingga pembangunan ulang bangunan kabah juga dilakukan oleh suku-suku Arab yang merupakan keturunan Nabi Ismail yang berdiam di Mekah tersebut. Sehingga urutan pembangunan kabah yaitu: Generasi pertama dilakukan oleh Malaikat generasi ke-2 oleh Nabi Adam, Syist Bin Adam sebagai generasi ke-3. Generasi ke-4 Kabah dibangun oleh Nabi Ibrahim dan putranya Ismail. Kemudian pembangunan dilakukan oleh Suku Amaliqah dilanjutkan Suku Jurhum dan selanjutnya dilakukan oleh Qushai Bin Kilab. Generasi ke-8 dilakukan oleh abdul Muthalib dan dilanjutkan oleh generasi ke-9 oleh Quraisy. Pada generasi ke-10 kabah mengalami beberapa renovasi yang dilakukan oleh umat dari Nabi Muhammad saw.
Ada juga peristiwa menarik seputar kabah yaitu ketika pada tahun kelahiran Nabi Muhammad saw. Waktu itu kabah pernah hendak dihancurkan oleh pasukan gajah yang dipimpin oleh Abrahah dari Yaman. Allah SWT kemudian melindungi kabah dengan mengirimkan burung-burung Ababil yang melemparkan batu Sijil yaitu batu dari neraka yang amat panas untuk memusnahkan Abrahah beserta pasukannya. Tahun peristiwa tersebut disebut tahun gajah yang pada tahun itu juga merupakan tahun kelahiran dari Nabi akhir zaman yaitu Nabi Muhammad saw.
Di masa Nabi Muhammad, awalnya perintah shalat itu ke baitul Maqdis di Palestina. Namun Rasulullah SAW berusaha untuk tetap shalat menghadap ke kabah. Caranya adalah dengan mengambil posisi di sebelah selatan kabah. Dengan menghadap ke utara, maka selain menghadap Baitul Maqdis di Palestina, beliau juga tetap menghadap kabah. Namun ketika beliau dan para sahabat hijrah ke Madinah, maka menghadap ke dua tempat yang berlawanan arah menjadi mustahil. Dan Rasulullah SAW sering menengadahkan wajah ke langit berharap turunnya wahyu untuk menghadapkan shalat ke kabah. Hingga turunlah ayat berikut : Sungguh Kami melihat mukamu menengadah ke langit, maka sungguh Kami akan memalingkan kamu ke kiblat yang kamu sukai. Palingkanlah mukamu ke arah Masjidil Haram. Dan dimana saja kamu berada, palingkanlah mukamu ke arahnya. Dan sesungguhnya orang-orang yang diberi Al Kitab memang mengetahui, bahwa berpaling ke Masjidil Haram itu adalah benar dari Tuhannya; dan Allah sekali-kali tidak lengah dari apa yang mereka kerjakan. (QS. Al-Baqarah : 144). Dan adalah kepunyaan Allah Timur dan Barat, maka ke manapun kamu menghadap di situlah Wajah Allah - (Qs. 2 al-Baqarah : 115)