Il castello fa parte di un più ampio circuito di difesa del territorio (che comprendeva i Colli Euganei sino a Este) e di controllo dei traffici fluviali, posizionato com’è lungo l’argine del Bacchiglione. Di probabile impianto longobardo, la struttura fu ampliata intorno all’anno Mille con l’erezione della torre per volontà di Francesco il Vecchio da Carrara. Proprio durante l’epoca Carrarese (XIV secolo), il castello subì una serie di importanti modifiche: la torre interna venne sopraelevata e a essa si aggiunsero gli altri corpi di fabbrica, con alloggiamenti su due piani, unitamente al muro di cinta che racchiudeva un’ampia corte. La struttura funse presto da polo di attrazione per varie attività commerciali; nelle vicinanze doveva sorgere anche l’antica Chiesa di San Martino, distrutta nel 1600 e da cui il castello prese il nome. In età veneziana, intorno al 1405, il castello venne adibito a stazione commerciale sul Bacchiglione; in virtù della posizione strategica, la struttura divenne un centro funzionale al porto fluviale, in cui venivano smistati il legno destinato ai cantieri veneziani, la legna da ardere e il carbone di legna delle aie carbonili dei Colli Euganei.
Il castello, attorno al quale nel corso dei secoli si andò a creare un piccolo borgo, era provvisto di un mulino attivo sino alla fine del 1800. L’edificio venne in seguito donato, per scopi culturali, dalla famiglia Papafava-Carraresi alla Provincia di Padova ed è tutt’ora sede del Museo del Fiume Bacchiglione.
