Il Convento di San Giacomo e l’annessa chiesa vennero fondate nel 1162 per ospitare pellegrini e bisognosi. Inizialmente il complesso era gestito congiuntamente da due comunità monastiche, una femminile e una maschile, che attorno al Duecento aderirono alla congregazione benedettina degli Albi, fondata da Giordano Forzatè. Nel 1420, su provvedimento vescovile, il convento venne affidato ai canonici veneziani di San Giorgio in Alga, che provvidero a restaurarlo e lo gestirono fino al 1668, quando l’ordine venne soppresso. Nel 1677 passò poi ai frati minori francescani riformati, che mantennero il controllo del convento fino alla soppressione napoleonica del 1810, per poi farvi ritorno nel 1875.
All’interno della chiesa sono conservate alcune pregevoli opere di Jacopo Palma il Giovane (1544-1628), Gianbattista Maganza (1513- 1586), Dario Varotari (1539-1597) e del pittore fiammingo Michele Desubleo (1602-1676). L’originario complesso del XII secolo venne completamente ricostruito nel 1332: il campanile a cuspide embricata risale a questa fase. Il chiostro del convento venne invece realizzato attorno al Quattrocento.