Como se sabe, la ciudad fue fundada de nueva planta por el emir interino Ayyub (716), constituyendo su primer núcleo musulmán un castillo que lleva su nombre, al tiempo que lo ha dado también a la ciudad (qal'at Ayyub); en el siglo IX(862-863) Muhammad I establece como gobernadores de la ciudad a los tuyibíes, reconstruyéndose el recinto fortificado, y durando la dominación musulmana hasta la reconquista de la ciudad por Alfonso I en 1120.

El conjunto defensivo bilbilitano está falto de un estudio arqueológico que determine con propiedad sus etapas constructivas (tanto en el periodo musulmán como en el cristiano posterior). Está integrado el recinto por cinco castillos, unidos por lienzos de muralla, conservándose más de 2.250 m. de lienzo y 26 cubos, especialmente bien conservados en el lado norte. El más interesante de los castillos es el ya mencionado de Ayyub, conocido también con los nombres de Mayor o Plaza de Armas, cuya parte más antigua, de época musulmana, está formada por dos torres octogonales, el adarve que las une y un cubo de planta cuadrada destacado hacia el norte.

En el lienzo norte de la muralla, desde el castillo de Ayyub y antes de salvar el barranco de Soria, existe en mal estado, con peligro de perderse, un arco de herradura de proporciones califales, de interés similar a los de Ágreda. Los materiales del castillo y muralla son bastante deleznables, de tapial y piedra de yeso, habiendo sufrido muchas reparaciones; de algunas queda constancia documental. Los otros cuatro castillos que completan el recinto son el de Consolación, también conocido como Torre Mocha o Cocción de los Moros; el de la Peña; el de Doña Martina o de don Álvaro; y, por último, el Real, y también del Reloj, Lo Pidado o Lo Picado. Casi todos están arruinados.