Completato nel 1490 da Ferdinando d’Aragona, come attesta la lapide dedicatoria collocata sul portale del maniero, per tenere fedele Castrovillari, allora fautrice del potere Angioino, venne edificato con lavoro coatto dei cittadini di sesso maschile per tre giorni alla settimana. Fu sede di prigioni sia durante il periodo borbonico che in quello successivo. La torre maggiore denominata Mastio è attribuibile a disegni dell’architetto militare Francesco Di Giorgio Martini ed è conosciuta col nome di Torre Infame. Attualmente è sede di mostre, area convegnistica e spazi culturali.