Lo primero que has de saber es que se puede llegar hasta él en moto aunque es un breve paseo con muy buenas vistas.El castillo poco se parece a la fortaleza musulmana que Álvaro de Zúñiga, conde de Plasencia y duque de Arévalo, reconstruyó en el siglo XV.
Tras haber sido prisión y cementerio, en 1952 pasó a ser un silo para almacenar grano que fue utilizado hasta 1977. En la actualidad es un Centro de exposiciones y Museo de cereales.
En sus orígenes, la fortaleza se levantó aquí porque los ríos Adaja y Arevalillo crean un foso natural defensivo que no podían desaprovechar. El perímetro era mucho mayor y de esa primera era constructiva solo se conserva la estructura de la Torre del Homenaje.
En los siglos XV y XVI se reformó para añadir las troneras y un foso frontal claramente defensivo. En él se refugiaron los cristianos cuando los musulmanes invadieron la península y finalmente, el duque de Arévalo perdió su propiedad tras la victoria de Isabel en la Guerra de Sucesión.