En la segona meitat del segle XVI, el duc Carles de Borja va fundar un convent franciscà sobre el fossat de la vella muralla medieval. En 1591 els frares alcantarins van prendre possessió de l’edifici, que probablement estava format per l'antiga ermita de Sant Roc i les austeres dependències afegides. Es va aprofitar part de la vella muralla per a fonamentar una de les ales del claustre i, poc després, l'entrada del convent es va coronar amb l'escut Borja-Centelles dels promotors de l'obra, el V duc i la seua esposa Magdalena Centelles.

A mitjans del segle XIX, amb la desamortització, el convent va passar a mans de l'Ajuntament. Es va instal·lar en ell els jutjats, amb la seua corresponent presó, i casa de beneficència annexa, mentre en el seu flanc oriental s'obria una plaça que el connectava a la resta de la ciutat. En el segle XX es va instal·lar el Museu Arqueològic de Gandia i avui en dia és la seu de l’Institut Municipal d'Arxius i Biblioteques.