Attendolo che diventerà Duca di Milano. Nel 1418 il castello è incluso tra i lasciti del Conte Carlo Ruffo di Montalto alla figlia Polissena che va in sposa al giovane Francesco Sforza, figlio appena diciassettenne di Muzio. E’ proprio in virtù di questo matrimonio che il caccurese Cicco Simonetta segue Francesco a Milano, fino a divenire segretario di questi e abile ed illuminato amministratore del GranDucato, oltre a potente e fine tessitore della politica milanese del ‘400. Nel XVI secolo inizia per Caccuri un periodo di rapidi trasferimenti sotto il dominio successivo delle famiglie Spinelli, Sersale e Cimino, sino al 1651 quando il feudo pervenne ai Cavalcanti che lo conservarono fino alla eversione della feudalità. Per i Cavalcanti, che acquisirono il titolo di Duca di Caccuri, il castello rappresentò una stabile dimora per quasi due secoli, fino a quando nel 1830 l’ultima erede della stirpe vendette il feudo e il castello ai baroni Barracco. In particolare Guglielmo Barracco ne fece la propria dimora realizzando una serie di cospicui interventi di ammodernamento tra i quali spicca la torre acquedotto progettata dall’architetto napoletano Antonio Mastrigli.