Hoy resulta casi imposible hacerse una idea aproximada de lo que fue en su día este imponente inmueble, que sobresalía muy por encima de los tejados de toda la villa. El palacio era un enclave casi autoabastecido, donde vivían los señores perfectamente separados de los vasallos. Una ciudad dentro de la ciudad. Lo erigieron los señores reales en el s. XIV, sobre la torre y las casas que habían pertenecido al rey desde la fundación de la villa. A partir de 1485 los Borja fueron haciendo más cómodo aquel castillo urbano, transformándolo en un palacio fortificado, con ventanas y balcones abiertos a la calle, pero conservando sus almenas y torreones defensivos angulares, que fueron derribados definitivamente por los terremotos de finales del s. XVI.

Francisco de Borja impulsó la construcción del llamado Salón de Coronas, decorado con el símbolo empleado por su bisabuelo Alejandro VI en su coronación papal, como signo de agradecimiento. A inicios del siglo XVIII, el X duque, Pascual Francisco Ignacio de Borja y Ponce de León, quiso celebrar la canonización de Francisco de Borja con la construcción de la Galería Dorada, en cuya iconografía se rinde tributo de homenaje a la aristocracia, en general, y a la figura del IV duque, en particular. A finales del siglo XIX, y tras un prolongado abandono, la Compañía de Jesús adquirió el inmueble en pública subasta, manteniendo hasta la actualidad su propiedad.