El convento de Carmelitas de San José o Carmelitas de Abajo fue fundado hacia el 1.615 por la sexta duquesa del Infantado con monjas de Arenas de San Pedro. El edificio actual se levantó en el siglo XVIII y su trazado se debe a fray Alberto de la Madre de Dios. Se trata de un edificio ejemplo del manierismo clasicista que sigue las pautas establecidas en otras construcciones carmelitanas de esta época, esto es, edificio con unas proporciones armónicas, una estricta funcionalidad y cierta sobriedad.
El conjunto (iglesia y convento) tiene una modesta fachada de ladrillo sobre zócalo de piedra. En ella destaca la puerta de entrada a la iglesia, realizada en piedra, con dos cuerpos, el inferior con un arco de medio punto y el superior con hornacina alojando al santo titular. A la izquierda y a la derecha de la misma, aparecen los escudos de los fundadores del convento, Frías y Mendoza. Hacia la mitad de la fachada, se sitúa la puerta conventual que es de piedra caliza blanca, con pilastras lisas, guarnición de sillares y frontoncillo ligeramente curvilíneo partido por el escudo de la Orden del Carmelo.
El Convento de San José en Guadalajara está declara esta declarado Bien de interés Cultural, en la categoría de Monumento, desde 1.992.