A palavra Caaba significa 'construção quadrada'. A estrutura tem 12 m de comprimento, 10 m de largura e 15 m de altura, está sobre uma plataforma e coberta por uma colcha de brocado preto, bordada a ouro com versos do Corão sagrado.
A construção, feita de pedra cinzenta e mármore, está orientada de tal forma que os quatro cantos correspondem aos pontos cardeais da bússola.
A iluminação dentro da Caaba é feita por candeeiros suspensos de prata e ouro, que criam um ambiente sagrado para a Pedra Negra.
