Durante i tempi pagani, gli Arabi avevano riempito il tempio con tante divinità venerate in tutta l'Arabia per attirare l'attenzione dei mercanti e pellegrini da ogni tipo di religione, cioe commercializzato in un certo senso. Maommeddo (Muhammad), dopo di esser scelto da Dio come il Suo messaggero, conquistò Mecca nel 630 d.C eliminando tutti questi Dei pagani dalla Ka'ba e trasformandola in un luogo di pellegrinaggio detto Hajj. Oggi, i pellegrini giungono sul luogo durante l'Hajj per compiere uno dei Pilastri dell'Islam.
La Ka'ba di oggi ha dimensioni di 10 x 12 metri in lato e 15 metri di altezza, coperto da un tessuto nero detto "kiswa". Questo tessuto è riccamente decorato di lamine d'oro con alcuni versetti dal Corano, che viene rinnovato ogni anno. L'ingresso è permesso solo ai servienti e alla famiglia reale Saudita, ma dentro esiste un pozzo, ormai secco, il quale nei tempi pagani serviva per raccogliere il sangue dei sacrifici.
La Pietra Nera è un piccolo pezzo rimasto dal tempio originale dai tempi di Adamo, il quale era distrutto dal Diluvio Universale, e che poi era messo in un angolo dell'edificio nei tempi di Abramo. Alcune teorie su questa pietra dicono che può essere un meteorite, lava, o basalto.
Oggi, una delle vecchie porte ed alcuni chiavi originali di questa porta, che una volta appartenevano alla Ka'ba, si trovano al Palazzo di Topkapi nel centro storico Istanbul.