Die Batu-Höhlen gibt es schon seit Millionen von Jahren, aber die meiste Zeit davon waren sie nur Teil der natürlichen Landschaft. Sie wurde gelegentlich von den lokalen Orang Asli-Gemeinschaften als Unterschlupf genutzt und von chinesischen Siedlern in den 1800er Jahren zum Sammeln von Fledermausguano (im Grunde Dünger).
Das änderte sich im Jahr 1878, als der amerikanische Naturforscher William Hornaday über die Höhlen schrieb. Seine Arbeit erregte die Aufmerksamkeit der britischen Kolonialisten und der lokalen Landbesitzer. Doch zu diesem Zeitpunkt gab es noch keinen Tempel.