Esta casa fuerte fue edificada en el siglo XV por don Pedro López de Ayala, a quien pertenecen los escudos del patio. Forma parte de la muralla porque defendía la desaparecida Puerta de San Martín (derribada en 1883).
Más tarde, hacia el año 1500, fue vendida a la familia de la Hoz, que dotó a la casa de su llamativa fachada en cuya entrada y dinteles de los balcones podemos ver el escudo. La fachada en forma de picos o diamantes le da un aspecto intimidatorio y, de acuerdo con la tradición popular, sirvió para que dejasen de llamarla “la casa del judío” o “la casa del verdugo” según las diferentes versiones. Cuenta también la sabiduría popular que la forman 365 picos y que en uno de ellos podría estar escondido un tesoro.

 

Lo cierto es que forma parte de la muralla y que defendía la Puerta de San Martín, desaparecida en el siglo XIX.
Actualmente es sede de un centro de enseñanzas artísticas y acoge exposiciones temporales.

Un elemento a destacar es su patio y el acceso a éste con entrada en forma de codo,  (como salvaguarda de la intimidad) y, en este caso de forma evidente, para evitar la entrada rápida y directa del enemigo.