Les horaires existent depuis des millions d'années, mais pendant la majeure partie de ce temps, ils faisaient simplement partie du paysage naturel. Il a été utilisé occasionnellement par les communautés locales Orang Asli pour s'abriter et par les colons chinois dans les années 1800 pour collecter du guano de chauve-souris (engrais, en fait).
Les choses ont changé en 1878, lorsque le naturaliste américain William Hornaday a écrit sur les grottes. Son travail a attiré l'attention des colonialistes britanniques et des propriétaires terriens locaux. Pourtant, à ce stade, il n'y avait pas de temple.