Que les escultures d'alguns dels membres de la família Borja estiguen en aquesta plaça no és casualitat. Joan de Borja, fill de Maria Enríquez, va ser un gran humanista, bon amic de Joan Lluís Vives. La seua biblioteca va ser una de les millors nodrides de l'època, en quantitat i qualitat.

En canvi, el seu fill, Francesc de Borja, va decidir deixar-ho tot per la religió. En aquest mateix lloc va decidir fundar el col·legi de Sant Sebastià, encara que abans fins i tot d'obrir les seues portes, va rebre la butlla de Pau III per a convertir el nou edifici en una universitat, la primera en tot món regida per la Companyia de Jesús. En 1767, Carles III va expulsar als jesuïtes d'Espanya i poc temps després la universitat va tancar les seues portes, que serien reobertes poques dècades després pels escolapis, que recuperarien la seua funció docent que dura fins a l'actualitat. Durant el tràgic parèntesi de la Guerra Civil i els anys negres de postguerra, l'edifici va servir de presó política.