La costruzione del palazzo ebbe inizio nel 1837 per volere di Nicola Rossi e fu terminata dal figlio Fabrizio. L’edificio fu realizzato in posizione di rilievo fra Corso San Sabino e Corso Garibaldi. Una doppia rampa di scale conduce al piano nobile composto da ventuno stanze ancora oggi arredate con mobili d’epoca. Nelle stanze più importanti sono presenti raffinate decorazioni.