Keraton ini diyakini sebagai tempat di mana Prabu Kameswara melakukan pertapaan. Legenda menyebutkan bahwa setelah melakukan pertapaan di lokasi ini, sang Prabu berhasil mengatasi berbagai permasalahan politik yang terjadi di kerajaannya.
Oleh karena itu, lokasi ini sering digunakan untuk praktik pemujaan dan pencarian pesugihan.