Fue fundado en el año 1583 por el Obispo de Jaén Don Francisco Sarmiento de Mendoza. Se instaló la comunidad en el local que era la antigua sinagoga de los judíos, junto a los muros y Caba del Alcázar.
El edificio ha llegado a nuestros días muy mermado, debido a que en la revolución de 1868 se utilizó como cárcel pública, quedando tan solo el claustro y la fachada con algunas portadas, si bien los restos se han rehabilitado tras una intervención de recuperación llevada a cabo en los últimos años.