Pada masa penjajahan Jepang, benteng ini digunakan sebagai kamp tawanan orang-orang Belanda dan penduduk yang dicurigai membangkang kepada pemerintah Jepang.
Sepanjang sejarahnya, banyak perlakuan mengerikan yang diterima para tawanan hingga meninggal di penjara ini.
Oleh karena itu, banyak cerita horor menyelimuti Benteng Pendem Ambarawa yang menyebar di masyarakat hingga sekarang.
BACA JUGA:Adakadabra! Inilah 4 Kitab Sihir Paling Tua Dalam Sejarah Dunia yang Pernah Ditemukan
BACA JUGA:Kekayaan Budaya Pulau Yap, Sejarah dan Makna Batu Rai sebagai Mata Uang Tradisional
Salah satu tokoh yang pernah ditahan di benteng ini adalah pejuang sekaligus ulama, Kiai Mahfud Salam.
Ia mendiami salah satu blok di Benteng Pendem Ambarawa, hingga akhirnya meninggal dunia dan dikebumikan di luar kompleks benteng.
Setelah Proklamasi Kemerdekaan Indonesia, benteng ini digunakan sebagai pangkalan militer oleh Tentara Keamanan Rakyat (TKR).
Antara 1950 hingga 1985, sebagian benteng pernah diubah menjadi penjara dewasa dan remaja.
Kemudian sejak 2003 hingga saat ini, Benteng Pendem Ambarawa dimanfaatkan sebagai Lembaga Permasyarakatan Kelas II A Ambarawa dan asrama.*