El origen de Jaraba se encuentra en la antigua Bilbilis, ciudad romana fundada sobre el monte Bámbola, a tres kilómetros de lo que hoy es Calatayud. En la época de César Augusto la vía que comunicaba Bílbilis con Toledo pasaba por la margen izquierda del río Mesa. Se establecieron guarniciones en Jaraba, en Ibdes, en Calmarza y en Sisamón. El desaparecidos Puente del Diablo, sobre el río Mesa, era de construcción romana y vestigio de esta época, así como el Castillo de Xaral, situado en el cerro de donde hoy se encuentra Jaraba y delq ue sólo quedan restos.
Es durante la dominación visigoda en el s. VI cuando se data la aparición de la Virgen de Jaraba, que se venera en el santuario que lleva su nombre.
A partir del 711 AD la expansión musulmana se extiende por la península. Bílbilis pasa a denominarse Kalaat-Ayub en el 720 AD y para protegerla se construyen en su entorno varias fortalezas árabes con propósitos defensivos, como es el caso de la que existió entre Jaraba e Ibdes.
El origen del topónimo Jaraba está en la expresión árabe Jarab, que significaba bebida abundante
Cuenta también la leyenda que en esta época los jarabeños ocultaron la imagen sagrada de la Virgen de Jaraba por miedo a que ésta fuera profanada y que la imagen no volvió a aparecer hasta 1120, año en el que Alfonso I «El Batallador» conquistó toda la comarca. Por estas fechas se construyó una piscina en la zona en la que se encuentran los Baños de la Virgen donde se aprovechaban las propiedades curativas de sus aguas.
En 1254, sesenta y siete pueblos enclavados en los contornos de Calatayud entre los que se encuentra Jaraba, se separan para constituir la Comunidad de Aldeas de Calatayud, independiente de la ciudad. La Comunidad se dividía en seis sesmas según los seis ríos que la atraviesan. Cada distrito tenía su respectivo Regido o Merino, que servían de intermediarios entre los Jurados y Justicias de los pueblos y los que en nombre del rey ejercían el poder en la capital.
Durante siglos, la Comunidad de aldeas de Calatayud mantuvo su independencia jurídica y administrativa, frente a Calatayud y frente a otras aldeas sujetas a señorío nobiliar o eclesiástico