Avui resulta gairebé impossible fer-se una idea aproximada del que va ser en el seu moment aquest imponent immoble, que sobresortia molt per dalt de les teulades de tota la vila. El palau era un enclavament gairebé autoproveït, on vivien els senyors perfectament separats dels vassalls. Una ciutat dins de la ciutat. El van erigir els senyors reials en el s. XIV, sobre la torre i les cases que pertanyien al rei des de la fundació de la vila. A partir de 1485 els Borja van anar fent més còmode aquell castell urbà, transformant-lo en un palau fortificat, amb finestres i balcons oberts al carrer, però conservant els seus merlets i torrasses defensives angulars, que van ser derrocats definitivament pels terratrèmols de finals del s. XVI.

Francesc de Borja va impulsar la construcció de l'anomenat Saló de Corones, decorat amb el símbol emprat pel seu besavi Alexandre VI en la seua coronació papal, com a signe d'agraïment. Als inicis del segle XVIII, el X duc, Pasqual Francesc Ignasi de Borja i Ponce de León, va voler celebrar la canonització de Francesc de Borja amb la construcció de la Galeria Daurada, en la iconografia de la qual es rendeix tribut d'homenatge a l'aristocràcia, en general, i a la figura de l'IV duc, en particular. A la fi del segle XIX, i després d'un prolongat abandonament, la Companyia de Jesús va adquirir l'immoble en pública subhasta, mantenint fins a l'actualitat la seua propietat.