Si el Acueducto es el “abuelo” de Segovia se podría decir que esta iglesia es una de las abuelas porque sus orígenes parecen ser los de un templo visigodo de los siglos V o VII. Lo cierto es que la actual traza, si bien ha sido como casi todas modificada a lo largo de los años, mantiene el ábside central con su decoración y sus naves, que pertenecen al siglo XI.

Fue fundada por el hermano de Fernán García de la Torre el año 925, cuando Segovia fue conquistada a los moros. Sí hubo vida aquí antes de la repoblación oficial de 1086 aunque hasta que no conquistaron Toledo no se atrevieron a asentar la ciudad en condiciones por si acaso volvían los musulmanes.
Esta era una zona bastante poblada, situada junto a la muralla y en un lugar muy escarpado, que hacía más fácil la defensa en caso de necesidad y además la torre del templo servía de atalaya como en otras iglesias de la ciudad. Esta torre nos ha llegado muy modificada aunque con un vistazo se intuye que la falta mucho de la altura que debió tener; la decoración de sus arquerías es fantástica, nada que envidiar a San Esteban, la mejor torre románica española. Su portada principal tiene una bella decoración geométrica que se complementa con la de los capiteles, del siglo XII. Un siglo más tarde se levantó un vestíbulo con arco ojival que mantiene decoración románica. Su atrio es de lo mejorcito de Segovia, peculiar y rico en decoración, con capiteles historiados y canecillos con arpías, bichas, vicios, virtudes y monstruos; de esos que puedes pasar horas mirando.

En el interior, totalmente diáfano, se encuentra la capilla de los Nobles Linajes en la que se hallan los enterramientos de Don Fernán García de la Torre y Día Sanz, artífices de la conquista de Madrid y fundadores de los Quiñones, que dieron el sobrenombre de “los caballeros” a esta iglesia. Entre los personajes importantes y benefactores de San Juan se cuentan la familia de los Contreras, el gremio de los sastres y cordoneros y Diego de Colmenares que fue su párroco y muy reconocido historiador segoviano.
Desgraciadamente el declive de la ciudad afectó también a esta parroquia que se fue deshabitando y condujo a este templo al olvido y a su venta en el siglo XIX, por lo que fue utilizado como almacén de maderas, funeraria y refugio de gitanos y animales. Finalmente Daniel Zuloaga lo adquirió y tras restaurarlo lo habilitó como taller y vivienda. Declarada Monumento Nacional en 1941 se puede visitar, pues se convirtió en su museo en 1947.

Más tarde fue comprada por el estado, se añadió una portada de la iglesia de San Nicolás para cerrar el atrio y se reformó hasta darle su actual aspecto. Hoy además de funcionar como museo asociado al Museo Provincial, acoge muchos de los actos culturales de la ciudad, entre ellos la MUCES, Titirimundi, conciertos, etc.