As cavernas de Batu existem há milhões de anos, mas, durante a maior parte desse tempo, elas eram apenas parte da paisagem natural. Foi usado ocasionalmente pelas comunidades Orang Asli locais como abrigo e pelos colonizadores chineses no século XIX para coletar guano de morcego (basicamente fertilizante).
Isso mudou em 1878, quando o naturalista americano William Hornaday escreveu sobre as cavernas. Seu trabalho chamou a atenção dos colonialistas britânicos e dos proprietários de terras locais. Ainda assim, a essa altura, não havia templo.