Acababa de venir a Segovia el pintor Ignacio Zuloaga y alquiló el palacio Ayala Berganza para instalar allí su taller. Su amigo Ramón Uranga, que había venido a echarle una mano, se asomó una noche tras oir ruido por una puerta que siempre había estado cerrada en el sótano del edificio. Lo que allí vio le dejó sin palabras: un aquelarre de viejas desdentadas que con cirios en las manos convocaban a Satanás. Su visión duró poco, porque las brujas se escurrieron enseguida por la chimenea al notar su presencia.
Tras contarle lo ocurrido a su amigo, éste inspirado por su relato pintó en 1907 el cuadro “las brujas de San Millán”.También inspiraron a Zuloaga las mujeres ancianas enlutadas que, tocadas con sayos negros que les daban un aspecto siniestro al quedar semiocultas, acudían a diario a misa a la iglesia de San Millán, quedando reflejadas en su famoso cuadro, que actualmente se encuentra en el Museo Nacional de Buenos Aires.
Por estos motivos se llegó a conocer al barrio de San Millán como el de las brujas.