El matrimonio formado por Alonso Cascales y Ana de Barros hizo construir este edificio, como queda patente en la heráldica que decora tanto la puerta de entrada como su interior.
Ventanas
Su fachada es una de las más elegantes de la ciudad, lejos de la ostentación presenta mucho muro y pocas ventanas, conservando el espíritu de las construcciones góticas como corresponde a su época, finales del siglo XV. Destaca el esgrafiado con hasta tres dibujos diferentes que decora sus muros y sobretodo los bellos ventanales geminados correspondientes al gótico flamígero, labrados en una sola pieza de pizarra con tracería calada.
Portadas
La portada adintelada de acceso sustituyó a la anterior de ladrillo con forma de arco de herradura, lo que nos indica que el palacio se levantó sobre una casa de la morería medieval (descubierta tras una rehabilitación de 1979).
Fachada
Patio
En su interior encontramos un bello patio segoviano, cubierto con una vidriera de Carlos Muñoz de Pablos, que aún conserva el brocal de un pozo, lo que era señal de buena economía.