Karena serangan bertubi – tubi pasukan Bong Khiung Fu kalah dan benteng Kuto Panji dihancurkan pada tahun 1774 Masehi.
Baca Juga: Asal Mula Nama Kota Toboali Bangka Selatan di Bangka Belitung, Kisah Asal Usul yang Banyak Beredar
Meskipun bangunan tersebut udah banyak yang runtuh, namun sisa benteng yang masih berdiri masih terlihat sangat kokoh hingga sekarang.
Konon katanya di dalam benteng ini terdapat harta karun sisa-sisa peninggalan Bong Khiung Fu, mulai dari perhiasan hingga keping uang ataupun emas.