La Casa de la Cilla se estructura en torno a dos naves principales en forma de T, dispuestas en un amplio patio. La parte abierta del patio se cierra por un torreón de la antigua muralla, actualmente de uso museístico y, por el propio discurrir de la misma, que sirve de mirador. Del patio del antiguo edificio se ha conservado el pozo y las dos palmeras y en la actualidad se usa como sala de conciertos al aire libre. El piso superior de unas de las naves se usa como sala de exposiciones y el inferior como tienda de recuerdos y oficina de turismo. La nave que alberga el museo esta dividida en dos zonas de exposición permanente.

Se llama así por servir de cilla o granero, en tiempos de los duques de Osuna, propietarios del inmueble. También sabemos que fue usado en un tiempo como cárcel de mujeres. A comienzos del siglo XX llegó a ser utilizado como bodega. Hoy en día se encuentra en su interior el museo permanente «La frontera y los castillos».