Keraton tersebut diyakini sebagai tempat bertapa sosok Prabu Kameswara. Cerita yang beredar adalah bahwa setelah sang Prabu selesai bertapa di tempat itu, beliau berhasil menyelesaikan kekacauan politik di kerajaannya.
Berdasarkan legenda tersebut, petilasan itu banyak digunakan sebagai praktik pemujaan bahkan pesugihan.*