Situado a 5 km de Sepúlveda, en la falda del Cerro Negro, sobre el valle del río Caslilla. Aunque históricamente perteneció al ochavo de Castillejo, por una distribución municipal de mediados del siglo XIX se incorporo a Perorrubio, antes de ser agregado al de Sepúlveda definitivamente.
Comprendía los barrios de Casasola, Quiscañera y Santa María de la Serna.
Su creación fue de carácter militar para la vigilancia y la protección de un sector de los alrededores de Sepúlveda orientado al Sur, frente a los musulmanes. Siglos después, con la paz y la llegada de más colonos, el asentamiento militar y después señorial, lo transformó en una aldea campesina, dedicada en su mayoría a las labores agrícolas y al transporte de lanas con carros.
El topónimo Vellosillo es muy reiterado en la Cuenca del Duero, siempre como diminutivo de «velloso». Muy probablemente el nombre vino con los burgaleses llegados en la época condal. Además Vellosillo es el apellido de una antigua familia de infanzones de origen en el norte de León, esta familia llegó a Sepúlveda desde el principio de la conquista de la Villa por los cristianos en el año 940.
En 1935 se inauguró el monumento del Corazón de Jesús en la fachada Oeste de la ermita del pueblo. Se elevó la espadaña de las campanas de la ermita del Santísimo Cristo del Refugio, y se adornó con un arco románico de ventana colocado encima y varias piezas de alero, todo ello extraído de la antigua “Iglesiona”. Sobre el conjunto se colocó la estatua del Corazón de Jesús.
Después de la guerra Civil, en 1942, se inauguró parcialmente la iglesia nueva que se había construido sobre la ermita existente (la ermita coincidía con el crucero de la iglesia nueva). En su interior vemos los capiteles del arco del triunfo representando una lucha entre guerreros y otra lucha entre un centauro armado con arco y seres monstruosos. Posiblemente provienen de la ermita del Santísimo Cristo del Refugio.
Cerca de Vellosillo existía un pueblo llamado La Serna, con la iglesia románica de Santa María de La Serna, que los vecinos utilizaron desde siempre, aun teniendo que desplazarse dos km hasta ella. En 1850, Madoz cita que en Vellosillo funcionaban dos templos simultáneamente, la iglesia románica y la pequeña ermita del pueblo dedicada al Santísimo Cristo del Refugio. Esta ermita se construyó pasado el año 1700. De Santa María de La Serna, templo posiblemente del XIII, realizada en románico típicamente sepulvedano, tan solo quedaron sus muros perimetrales, en burda mampostería y cantos rodados, que durante un tiempo se usaron como cementerio.
A principios del siglo XX, la iglesia románica de Santa María de la Serna, la “Iglesona”, estaba en ruinas y se utilizó el interior como cementerio. Los niños se enterraban en el ábside y el resto en la nave.