Alfonso I reconquistó estas tierras a los musulmanes, pero fue Fernando II de León quien la repobló en 1160. Pasó de mano en mano, siendo algunos de sus moradores el infante don Sancho, el infante de Castilla don Enrique, don Pedro de Zúñiga, don Álvaro de Luna y en 1462 el rey Enrique IV se lo concedió a don Beltrán de la Cueva, duque de Alburquerque que también se convirtió en el primer duque de Ledesma vinculando la villa y su castillo a la casa de Alburquerque hasta el siglo XVIII.

Sobre la construcción, todavía se conserva parte de la muralla construida en mampostería de granito en la época de la repoblación que estaba dotada de puertas de arco de medio punto. En el extremo suroeste se encuentra la fortaleza, de planta trapezoidal originaria de la época de Fernando II de la que ya casi no queda nada.
En el lado sur del castillo se abre la puerta de ingreso de arco apuntado flanqueada por un cubo semicircular en forma de tronco de cono y otro torreón poligonal, más moderno, construido con sillares de gran tamaño sobre un zócalo que descansa directamente sobre la roca. Sin embargo el cubo circular presenta la parte superior formada por sillarejo, posiblemente tras una reconstrucción realizada en el s. XVIII.
A su lado se extiende un extenso tramo de muro y una torrecilla realizados con sillares almohadillados y relativamente modernos. De la cara norte no queda nada, anterior a lo que hoy podemos ver existía una puerta a la que se llegaba después de atravesar un puente y torcer en acodo, quedando protegida por dos torreones circulares.
El interior era un patio de armas que se encuentra vacío. Existe una escalera que nos permite subir al camino de ronda o adarve.