El Castillo del Mar también conocido como Ksar El Bahar, fue construido en 1508 y se mantuvo la ocupación hasta 1541 cuando los portugueses fueron expulsados por el sultán Mohammed al Shaij. Fue construido por los hermanos Diogo y Francisco de Arruda. La importancia de esta fortaleza era la base de apoyo para el comercio directo entre Portugal y los productos que llegaban procedentes de Marrakech.

El castillo fue construido con fábrica de piedra mezclados con piedras de mampostería, su ubicación sobre el puerto y ante la ciudad amurallada le hace de una belleza inusitada. Sobresale la torre del homenaje y los bastiones laterales que dan cobijo a un gran patio central, en el centro se halla un gran pozo que ahora comunica directamente con el mar, cada pocos segundos se escucha el azote de una nueva ola y la emisión a la superficie de vapores de agua. En la actualidad toda la artillería que se guarda es posterior a la ocupación portuguesa, tienen inscripciones de 1623 en árabe.