A escasos metros de la colegiata de San Martín se encuentra el castillo que, aunque pudo ser construido en el siglo XII, fue reformado entre los siglos XV y XVI.
Bonilla fue elegida como lugar de residencia de verano por los obispos de Ávila, tras ser donada la villa por la Corona al Obispo Domingo Blasco. El castillo-palacio adquirió un gran protagonismo al albergar entre sus muros tanto a diferentes prelados, entre los que destaca Alonso Fernández de Madrigal, “El Tostado”, como otras personalidades como Juan II de Castilla, padre de Isabel la Católica.

Más información

Hoy, de propiedad privada, cuenta con un patio porticado de armas, de forma cuadrada, rediseñado con el paso del tiempo.
La construcción que se encuentra en mejor estado es “La torre del homenaje”, del siglo XV, en la que todavía se conservan frescos con temas caballerescos. También se conservan las puertas falsas de arco de medio punto.
Entre sus muros murió Alonso de Madrigal,“El Tostado” el 3 de septiembre de 1454, a los 55 años. Consejero de Juan II, padre de Isabel la Católica, este le nombró, en un primer momento, canciller mayor y abad de la Colegiata de Valladolid y más adelante Obispo de Ávila, cargo que ocupó hasta su muerte. Bonilla fue el lugar elegido por este prelado para estudiar y escribir parte de su gran obra.
Juan II también moró entre los muros del castillo. Buscaba refugio en la Torre del Homenaje en 1440, de la mano del obispo Lope Barrientos, durante las disputas con los infantes de Aragón, en 1440. Ese mismo año se celebraron en este lugar las cortes de Castilla.
Otro evento significativo: el Sínodo Episcopal, convocado por el Obispo Diego de los Roeles, se llevó a cabo en el castillo-palacio un siglo antes, el 4 de julio de 1384