El castillo desde sus comienzos pasó de propietario en propietario hasta que llegó a manos de los Ribera quienes lo habitarán hasta el siglo XVIII.
En el año 1538 el Emperador Carlos V creó el marquesado de Montemayor concediendo el título a don Juan de Silva y Ribera, pero con anterioridad, en 1458 esta familia había constituido en la villa el mayorazgo de Castromonte. El título del marquesado en la actualidad lo ostenta la condesa de Priego.

Los orígenes de la construcción se sitúa a finales del s. XIII o principios del XIV, pero el conjunto actual posiblemente sea de los siglos XIV y XV. El cuerpo principal es de planta poligonal, on cuatro torres de diferentes formas en los ángulos, cuadrada la del homenaje, otra cuadrada pero de menor tamaño, una rectangular y otra semicircular. Además, en el paño que está de cara al pueblo, junto a la torre del homenaje se sitúa un cubo rectangular que hace las veces de ingreso, seguido por un recodo, esta puerta está formada por dos arcos, uno agudo y otro escarzado con una garita encima, a su lado otro cubo semicircular; una vez pasada la puerta se llega al patio de armas. Todas las torres están formadas por tres pisos siendo la primera planta de las torres maciza.
El acceso al castillo se realizaba mediante un puente levadizo que salvaba el foso, situado en la cara oeste del castillo, hacia el lado donde se sitúa la villa. Una vez pasado el foso y el antemuro abría que entrar en el recinto principal a través de la puerta anteriormente descrita. Esta disposición permitía una gran defensa del castillo a la hora de ser atacado por su entrada.
La construcción fue a base de mampostería reservándose la sillería para los ángulos, los vanos, ventanas, puertas y otras zonas nobles.
De la barrera exterior, que fue construida por los Silva en le s. XV, sólo se conservan dos cubos semicirculares con troneras para proteger la puerta de entrada formada por un arco apuntado.

En el pueblo también se conservan restos de la muralla, muy deteriorada con unos tres metros de espesor.

otras joyas de intéres

cruz decorada con granadas	picota	picota

Nada más cruzar el puente que da acceso al pueblo (debajo se localiza un buen lugar donde darnos un chapuzón en el río) nos encontramos con la ermita de San Antonio, construida en el siglo XVI, y delante de ella una preciosa cruz sobre gradería enteramente decorada con lo que podrían ser medias granadas.

En la plaza del pueblo se sitúa el rollo de justicia de mediados del siglo XVI, levantado como símbolo de autoridad del marqués de Montemayor, en la actualidad está formando parte de una fuente habiendo perdido la gradería sobre la que se asentaba. Está elaborado en granito y el primer tramo del fuste corresponde a un cilindro que forma parte de la fuente, en el segundo están labrados escudos de la villa, le sigue en altura una especie de plato que sobresale de la planta del fuste decorada con cabezas de leones, por encima de este elemento existe otro cuerpo cilíndrico con dos escudos que llevan en el campo un león rampante sostenido mediante ángeles y rematando toda la obra un pequeño cuerpo de forma cónica.