Il 21 dicembre 1534 Paolo III concede il Vicariato della Terra di Sangemini a Ferdinando Duca di Gravina e Giovanni Antonio Orsini Bolla di Paolo III, in cui dopo aver ricordato i beneficii resi alla S. Sede e i vantaggi recati al ducato di S. Gemini dai fratelli Ferdinando e Gio. Antonio Orsini, estende in perpetuo, durante la linea Orsini, l'enfiteusi di detto Ducato, concessa da Clemente VII a terza generazione
Dalla ricca documentazione dell’Archivio Orsini siamo a conoscenza del fatto che, sotto il pontificato di Innocenzo X, nel 1645 Ferdinando Orsini era ancora duca di Sangemini e a sua moglie Giovanna della Tolfa, viene concessa la possibilità di visitare il Convento della Maddalena.
Il ritrovamento di una pianella su cui è stata incisa la data 1645, conferma la ricostruzione in quegli anni della parte più antica del Castello- Palazzo, che si affaccia sulla piazza S. Francesco.
Siamo negli anni del ducato di Ferdinando Orsini, non siamo in grado ad oggi di documentare se il duca abitasse già una parte del Palazzo.
Con il Papa Alessandro VII, nel 1658 al cardinale Virginio Orsini viene accordata la facoltà di amministrare i beni del ducato di S. Gemini, d'ingerirsi nelle cause civili e criminali, eccetto quelle di sangue.
La riedificazione del castello-palazzo fu portata a termine nel 1695, come testimonia un’incisione sulla pietra collocata all’esterno della facciata che dà sull’attuale Via del Tribunale.
Sulle cornici delle tre finestre che si affacciano sulla stessa via, vi sono scolpite, nella stessa pietra della cornice tre testine con la mitria. La fattura non è certo artistica ma dà, secondo chi scrive, un’indicazione abbastanza preziosa su cui possono essere fatte due ipotesi: il Palazzo apparteneva ad una famiglia molto importante, tra i cui esponenti vi era un alto prelato, oppure le sculture sono un omaggio al Pontefice. Sono gli anni in cui il ducato apparteneva a Giovanni Antonio Orsini e siamo sotto il pontificato di Innocenzo XII.
Purtroppo un “accurato” furto, in tempi forse a noi molto lontani, ha privato una delle tre finestre della mitria, l’altra del volto, per ricostruire la scultura.
La costruzione seicentesca, terminata nel 1695, si affaccia sul Viale intitolato all’artista e domina la piazza del Comune di San Gemini. Dal Brogliardo Urbano del Catasto Gregoriano (reg.n.168) sappiamo che il “Palazzo Canova” era considerato “casa di villeggiatura” (contraddistinto dalla particella catastale n.128) di 17 vani distribuiti su due piani. Il Palazzo appartenne a Bartolomeo Terzi e successivamente ad Antonio Canova. All’artista appartennero anche altre proprietà circostanti senza alcun rilievo architettonico. Dopo la morte dell’artista, il fratellastro Sartori Canova mantenne a lungo le proprietà fino alla vendita ai Padri Cistercensi.
L’attuale destinazione del Palazzo è contenuta nel “cessato catasto urbano”in cui , dal registro partite n.179, risulta che l’immobile è intestato a Severino Medici. Soltanto con gli ultimi proprietari, la famiglia Medici , la memoria del grande artista di Possagno viene riattivata. Inizia quell’incessante ricerca dei documenti, di testimonianze che rimettono insieme le tracce della storia “già scritta” nella casa: una grande carta con la tipologia dei terreni appartenenti all’artista, a lui dedicata da Pio VII, quando era già stato nominato marchese di Ischia di Castro; una statua di fattura ellenistica, collocata dal Canova nel giardino soprastante la “lisciaia”; alcuni documenti originali. Sappiamo che con la guerra e la presenza delle forze di occupazione francese, durante il periodo Napoleonico e le guerre successive, fino all’ultima che non risparmiò al Palazzo l’occupazione tedesca, oggetti appartenuti all’artista sono stati portati via. Un altro saccheggio di cui siamo a conoscenza riguarda una grande biblioteca appartenente ai monaci cistercensi che avevano acquistato il Palazzo dai Canova e che Severino Medici aveva acquisito nel momento in cui era diventato proprietario del Palazzo. Nei momenti tragici della guerra, la presenza e occupazione del Palazzo da parte dei tedeschi, la famiglia Medici dovette riparare al Nord ma al rientro nulla fu più ritrovato. Non solo gli uomini pagano alti prezzi ai conflitti anche gli oggetti con il sapere e la conoscenza che contengono.