Sempre a Fagnano vi è il complesso denominato “Il Castellazzo” facente parte dei possessi fagnanesi dei Visconti di Ierago e così denominato fin dal 1500.

Nell’atto divisionale del 1493 tra i fratelli Gaspare e Bernabò Visconti, figli di Azzone, a Gaspare spettò la casa di Fagnano “uni dicitur ad castellatium” al Castellazzo.

Questo edificio, posto anch’esso a dominare il corso dell’Olona, ma più a sud del castello, deve aver avuto in origine delle strutture fortificate così da giustificare il proprio nome.

Della struttura castellana rimangono il complesso a sud tipicamente quattrocentesco con portale a tutto sesto in massi di granito, le finestre con eleganti cornici in cotto e la possente muratura in ciottoli.

Elementi che fanno datare il complesso al secolo XV.

Nel complesso del Castellazzo, viene riportata la presenza dell'Oratorio dell'Immacolata, risalente al 1752.

La bellezza dell'antica sala, con gli splendidi camini ed il soffitto a cassettoni, unitamente all'immenso giardino esterno, rendono incantevole lo scenario che appare agli occhi dei visitatori e dei clienti dell'odierno albergo e ristorante.