Benteng tersebut mengalami perubahan besar-besaran di bawah kepemimpinan Innocent III dan Urban V. Urban V memilihnya sebagai kediaman musim panasnya selama masa tinggalnya di Italia: dari tahun 1367 hingga 1370. Selama masa pembuangan di Avignon, kota ini menjadi pusat urusan politik bagi seluruh Wilayah Warisan San Pietro di Tuscia, istilah yang digunakan untuk merujuk pada provinsi Viterbo saat ini. Hal itu memainkan peran yang sangat penting, terutama berkat Kardinal Egidio Albornoz. Menjelang akhir abad ke-15, Alexander IV meluncurkan program adaptasi militer terhadap benteng-benteng kepausan, dan Antonio da Sangallo yang Tua menyusun rancangan renovasi Benteng Montefiascone guna menyesuaikannya dengan tuntutan perang baru yang muncul seiring dengan penggunaan bubuk mesiu dan meriam. Pada tahun-tahun awal abad ke-16, Paus Julius II memerintahkan dilanjutkannya pekerjaan restorasi, dan Leo X kemudian mempercayakan kepemimpinan proyek pembangunan tersebut kepada Antonio da Sangallo Muda. Awal kemunduran monumen tersebut dikaitkan dengan Paul III Farnese, yang memindahkan meriam-meriam dari Rocca ke Benteng yang ia dirikan di Perugia serta memindahkan kedudukan Rektor Patrimoni ke Viterbo. Pada akhir abad ke-17, Benteng tersebut diserahkan dalam bentuk hak pakai kepada Kardinal Barbarigo, yang mengambil bahan bangunan dari sana untuk pembangunan Seminari dan memanfaatkan bangunan-bangunan yang masih utuh sebagai gudang dan percetakan.