A petición del concejo de Vélez Blanco de 1599 el cuarto Marqués Don [Luis Fajardo Requenses] mandó construir el convento de San Luis Obispo a partir de 1602.
Terminadas las obras en la segunda década del siglo XVII, se instaló la comunidad de franciscanos pertenecientes a la rama de los recoletos Llegó a tener hasta 36 frailes y cátedras de Latín, Griego y Filosofía. La portada del centro es de estilo plateresco con un pequeña torre mudéjar, dado que las órdenes mendicantes no podían tener torres altas. De su retablo policromado se conserva el segundo cuerpo, donde se enmarcaban pinturas del siglo XVII,. Poseía imágenes de la escuela de Salcillo. En las capillas laterales se enterraba a los miembros de las familias Acosta Moreno, Valcárcel Belloc, Pérez de Villarroel, Fernández Mateo, y de la rama menor de los Fajardo. Fué enajenado en la desamortización de Mendizábal y, entre 1916 y [[1996] ocupado por la orden de las Concepcionistas.