L’edificio adiacente alla Chiesa di Santa Maria di Casalserugo risale al XIV secolo e in origine apparteneva agli Orsato, una ricca famiglia di commercianti padovani. Il palazzo presenta una facciata in laterizi, coronata da una fascia di arcatelle e da una merlatura (oggi tamponata) che rivela la duplice funzione originaria dell’edificio: abitazione di prestigio e struttura difensiva. Nella prima metà del Quattrocento gli Orsato operarono una serie di importanti interventi di ristrutturazione del complesso, utilizzato all’epoca come dimora estiva e di soggiorno temporaneo.
Sulla facciata, in corrispondenza del piano nobile, venne realizzata una polifora gotica, sormontata dallo stemma di famiglia (uno scudo con un orso) e affiancata da una monofora per lato. Le trasformazioni interessarono anche il portico, le cui arcate a tutto sesto vennero ridotte da quattro a tre. Attorno alla fine del Seicento vennero invece attuati alcuni cambiamenti nell’articolazione degli spazi interni.
Gli Orsato, nel XVIII secolo, fecero infine realizzare una nuova lussuosa residenza estiva, così il palazzo venne ceduto al parroco di Casalserugo che lo riadattò a canonica. Nel 2002 il palazzo è stato oggetto di un restauro che ha riportato l’edificio al suo antico splendore.