Antes de que Roma se instalará en Toledo, existió un pueblo primitivo y cruel que adoraba a un dios demoníaco llamado Baal-Cebú que les exigía sacrificar, de vez en cuando, a una muchacha virgen. El sacerdote encargado de realizar estos sacrificios se enamoró de una joven a la que debía ejecutar para complacer a su dios. Los amantes decidieron huir pero el dios montó en cólera maldiciendo la montaña y juró que todos los amantes que se besaran en su montaña acabarían odiándose.
Se dice desde la Edad Media, que entre los restos del cerro están los cimientos de una torre, la “Torre del Diablo“, donde estaba situada una puerta hacia el infierno, incluso cuenta la leyenda que en las noches de luna llena, algunas personas ven una puerta abrirse entre las rocas y se ve salir una luz rojiza.