El edificio es una antigua casa fortaleza, ejemplar típico de la arquitectura civil del S. XII, que posteriormente fue adquirida por las Monjas Dominicas en 1.513. La torre de Hércules (declarada Bien de Interés Cultural), que le da nombre, construida hacia el S. XI, conserva en los frisos pinturas murales realizadas por los árabes de la aljama segoviana que lo convierten en el más acabado ejemplar románico-mudéjar.
El conjunto presentaba planta cuadrada con dos torreones en los ángulos y un gran patio central, el más grande de toda la ciudad, porticado en sus cuatro lados y que en la actualidad hace las veces de claustro. Al lado norte del claustro se sitúa el Palacio Románico del s. XIII, muy transformado en su interior pero que conserva la fachada con mampostería con ventanas abiertas a lo que en la actualidad es la huerta del convento.
La capilla conventual es del S. XVII con posible traza de Pedro de Brizuela. Una sencilla portada clasicista da acceso a la iglesia conventual, de una sola nave de dos tramos abovedados con cañón rebajado con lunetos.