Aunque ya consta información del pueblo de Blascosancho en documentos del obispado de Ávila desde antes de 1.250 podría ser el origen del pueblo. Actuaría como casa feudal en torno a la cual se construirían las casas de los sirvientes y la iglesia, originando así el casco urbano del pueblo. Por tanto, es muy posible que el actual palacio sea la evolución de alguna construcción anterior.

El Palacio es de un estilo muy sobrio sin determinar su fecha exacta de construcción, que podría estar en torno a finales del siglo XVII o principios del XVIII. Aún mantiene en su fachada principal portadas de estilo mudéjar de ladrillo con alfiz, que puede observarse en algunas casas más del pueblo.
El escudo de armas que todavía se conserva en la entrada principal sobre un dintel de piedra granítica se ha adquirido como escudo de armas del pueblo.
Tanto la portada como su balconada son de gran valor arquitectónico.

En el presente, la extensión del palacio es la mitad de la extensión que ocupaba en 1840, debido a distintas segregaciones de sus anexos. 
Está certificado históricamente que al menos durante una noche (la del 25 de julio de 1.812) el rey de España, José Bonaparte, pernoctó en este palacio, mientras sus tropas acampaban en las eras del pueblo, de vuelta de la derrota en la batalla de Arapiles, como relata el artículo publicado el 28 de julio de 1.812 en el “London Gazette”.

Cuenta la historia, que viéndose las tropas de Bonaparte y él mismo en peligro de ser apresadas por las tropas británicas del 14º Ligero de Dragones y del 1º de Húsares que venían desde Arévalo, levantaron apresuradamente el campamento en dirección a Villacastín y Madrid. Y la leyenda dice que todo el oro que llevaban de los saqueos que iban haciendo por el camino fue tirado al pozo del palacio, que está oculto en algún lugar del patio, y que todavía sigue ahí.