Javier se ubica sobre un promontorio que domina el valle del Aragón, que en la zona hace un amplio recodo. Allí, dominador, se alza el castillo, fortaleza fronteriza con los dominios aragoneses, vinculada a diversas familias nobles locales, de las que nació, en 1506, San Francisco Javier, evangelizador en la India y Japón.
El de Javier es uno de los pocos castillos que conservan tan completas sus defensas y todas las estructuras que lo componen, como sus troneras y sus saeteras.
Este castillo fue construido en el siglo X, reformado en los siglos XII y XIII, alrededor del año 1300, y posteriormente en el siglo XV.
En el año 1516 fue parcialmente destruido por orden del Cardenal Cisneros, a causa de las continuas revueltas que se sucedieron.
En el año 1223 pertenecía al rey de Aragón y en 1236 pasó a manos del rey de Navarra.
En el siglo XVI fue propiedad del padre de San Francisco Javier, y en este castillo nació el propio San Francisco Javier, cofundador, junto con San Ignacio de Loyola, de la Compañía de Jesús.