El edificio fue levantado como sede la antigua sede de la Hermandad Vieja de Toledo, organización de origen medieval, dedicada para proteger a los comerciantes, ganaderos que acudían a los mercados de la ciudad..

La institución era la encargada de mantener el orden publico en los Montes de Toledo, fue creada durante el reinado de Alfonso VIII y en concreto a las tierras reconquistadas en las Navas de Tolosa en 1212 , cobro carácter oficial con el rey Fernando III, durante los Reyes Católicos propiciaron su desarrollo y ubicaron su sede. Quedó disuelta a finales del siglo XVIII, y es cuando se vende el edificio y transforma en posada que le da el nombre.

El edificio destaca la portada de estilo gótico-mudéjar toledano, se adorna con las señas de la Hermandad: dos "cuadrilleros" o ballesteros, se representa el escudo de armas de Felipe II.

Es el único edificio conservado de aquella época de arquitectura civil y uso público, tuvo un cuerpo de guardia, sala de vistas, cuadras, capilla y la sección de la cárcel con sus mazmorras.

Se extinguió su jurisdicción a lo largo del siglo XVII y sobre todo en el XVIII cuando la Hermandad sufrió restricciones por Isabel II que la suprimió de forma definitiva en 1835.

En la actualidad, pertenece el edificio al Centro Cultural Municipal y otros usos de gestión local.