En la parte alta de la villa, se encuentra el castillo residencia de los Duques de Frías, propiedad privada no visitable.
Inició su construcción hacia 1340 Martín Alfonso de Córdoba, como núcleo fundacional de la nueva población, y fue objeto de sucesivas ampliaciones y reformas, que le dan su aspecto actual: consta de tres torres de disposición triangular en torno al patio de armas, que llevan por nombres Mocha, de las Palomas y del Homenaje, que es la mayor y más vistosa.
