Fue fundado en el año 1313, por D. Sancho Sánchez de Velasco, adelantado mayor del rey Alfonso XI, y su mujer Doña Sancha García, Camarera Mayor de D.ª Leonor de Aragón. El primitivo edificio no tuvo la extensión que hoy ocupa, hubo muchas transformaciones a lo largo de los años. Se intuye que la planta definitiva quedó terminada hacia 1532.
La Capilla de la Concepción es considerada como una de las capillas más destacadas de este tipo que existen en España. Edificada en el siglo XVI, tal vez únicamente sea superada por la mandada construir en la Catedral de Burgos, la famosa Capilla de los Condestables. El Cristo Yacente de Gregorio Fernández, del siglo XVII, es una de las cinco mejores obras del escultor y puede ser considerada como la de más valor del patrimonio medinés.
Fue declarado Bien de Interés Cultural en 1992, en categoría de Monumento.