Risale al XVII secolo ed in passato era un palazzo nobiliare. Ora è sede del Museo, della Biblioteca Civica e del Municipio di Borrnio. Sorge sui resti di un edificio medioevale che venne poi completamente rifatto nel corso del XVII secolo secondo la tipologia cara agli edifici patrizi che si possono ritrovare a Borrnio. L'edificio completamente realizzato in muratura è affiancato da un incantevole giardino, che un tempo fungeva anche da frutteto. Un passaggio sopra Via Buon Consiglio permette il collegamento diretto tra il palazzo e la cappella di famiglia dedicata alla Beata Vergine del Buon Consiglio.

L'imponente torre che affianca il palazzo De Simoni era una delle più prestigiose fra le 32 torri che si contavano in epoca medioevale a Borrnio. La torre doveva essere sede di una "guaita", ossia di un punto di vedetta al quale era assegnata una delle balestre comunali. All'interno del palazzo lascia presagire tutto il fascino che scaturisce da quegli ambienti in cui si respira la Storia con la "S" maiuscola. L'interno del palazzo è ricco di stanze, le "stue", ovvero tipiche stanze completamente rivestite in legno e dotate di "pigne" stufe in muratura che una volta erano utilizzate per il riscaldamento, durante il periodo invernale.