Para su residencia, los señores de Valdecorneja construyeron el castillo en las afueras de la ciudad amurallada. En los siglos XIV y XV, los Álvarez de Toledo, señores de la Villa, eran conscientes de que tenían que defenderse, será don Fernando Álvarez de Toledo II señor de Valdecorneja, quien inicie la construcción, lugar donde nación en 1507 el III Duque de Alba, cuya partida de nacimiento se guarda en el Archivo Histórico.

Con el paso del tiempo fue declarado en ruina wn 1752 por el administrador general de las rentas de la entonces Duquesa de Alba, y en en la segunda mitad del siglo ,cuando el XII Duque de Alba , don Fernando de Silva Álvarez de Toledo decidió construir un palacio que se convertiría en la residencia veraniega de los duques, siguiendo la moda borbónica imperante en la corte las obras se realizan entre 1755 y 1766, por el francés Jaime Marquet, según los planos del arquitecto Manuel de Lara Churriguera.

Le precede una vasta plaza con puertas laterales, una torre a modo de atalaya y un hemiciclo con pabellones para la servidumbre.

Posee dos alas laterales avanzadas de un piso bajo y otro en forma de mansarda, sobre cuyas cubiertas se alzan las chimeneas y sótanos abovedados.

A su espalda se extienden los jardines cerrados al oeste por un magnifico muro , encontramos la casa de las aguas , el puente elíptico de las azucenas así como fuentes y, estanques y una gran escalinata de granito para acceder a la parte alta del jardín.

En las temporadas que el Duque paso en la Villa solía estar acompañado por personajes ilustres. Al morir el Duque en 1776 le sucedió en el Ducado su nieta Cayetana. Con ella el palacio disfruto de la compañía en 1786 de Goya , que pase ese verano en Piedrahita y al Parecer pinta diversos retratos de la familia ducal y pudiera ser que los primeros apuntes de tapices como La Vendimia y el Verano.

El Palacio fue destruido en la Guerra de la Independencia. Fue adquirido por el municipio en 1931 , en la actualidad es el Colegio Publico.