Il palazzo fu costruito per volontà dei fratelli Angelo e Savino Visconti nel 1855. La facciata è semplice, il portone di ingresso è posto al centro della struttura. Dal portone si accede ad un androne dove una scalinata conduce alle quattordici stanze del piano nobile, sulla mansarda si trovano i locali della servitù e l’approvvigionamento idrico all’immobile era garantito da due pozzi. Subito dopo la costruzione il palazzo divenne prima sede del Municipio, successivamente caserma della Guardia Nazionale Filogaribaldine. Nei primi anni del Novecento il palazzo fu acquistato da Raffaele Caporale e adibito a sede della Cooperativa Agraria Nicola Rossi.