El casco urbano de Olvera se emplaza en una cumbre orográfica, lo cual condiciona el trazado viario, adaptado al terreno y subordinado a la fortaleza que corona el asentamiento. Podemos diferenciar el núcleo medieval de origen andalusí por los restos del trazado de la muralla andalusí. Se accede a dicho recinto amurallado por una subida en doble recodo (actual calle Calzada), desembocando en la extensa plaza que corona hoy la población, rodeada por la iglesia parroquial de la Encarnación , la Casa de la Cilla hay una la hilera de viviendas que acogen los accesos al cementerio y al castillo. Rodeando la iglesia se accede al Barrio de la Villa , nombre que alude a su condición de núcleo original de la población. Se trata de un pequeño espacio de calles cortas y estrechas, irregulares, entre las que se cuentan algunos adarves (callejones sin salida que en época andalusí tenían un carácter semiprivado y en ocasiones se cerraban de noche), como las actuales calles Cilla, Recodo y Resolana. Todo el conjunto estaba ceñido por la muralla de la que hoy sólo se conservan los cubos de flanqueo, cuadrangulares (excepto uno semicircular), completamente macizos, construidos en mampostería enripiada.